Mô hình Laya 421M chơi Flappy Bird cục bộ trên CPU nhờ OpenVINO INT8
Một nhà phát triển đã trình diễn việc chạy mô hình ra quyết định Laya 421 triệu tham số được lượng tử hóa INT8 bằng bộ công cụ OpenVINO của Intel để chơi Flappy Bird theo thời gian thực trên CPU máy tính Intel Core i7 thế hệ 12. Thử nghiệm này cho thấy cách các mô hình AI ra quyết định nhỏ gọn kết hợp với lượng tử hóa INT8 tối ưu cho CPU có thể thực hiện các tác vụ tác tử tự hoạnh theo thời gian thực trên phần cứng phổ thông mà không cần GPU rời. Điều này minh họa tiềm năng ngày càng lớn của việc triển khai AI cục bộ nhẹ tại biên cho các ứng dụng tương tác độ trễ thấp. Dự án chuyển đổi phiên bản Laya System One sang định dạng OpenVINO và áp dụng lượng tử hóa INT8 sau huấn luyện để giảm đáng kể độ trễ suy luận và dung lượng bộ nhớ. Chạy trực tiếp trên CPU Intel Core i7 thế hệ 12, cấu hình này đạt tốc độ tính toán đủ nhanh để đưa ra quyết định chơi game theo từng khung hình.
## KIẾN THỨC NỀN
Laya là một mô hình ra quyết định mã nguồn mở với 421 triệu tham số, được tối ưu hóa cho các tác vụ định tuyến, chấm điểm và phân loại cục bộ thay vì trò chuyện dạng văn bản. Intel OpenVINO là bộ công cụ mã nguồn mở được thiết kế để tối ưu hóa và tăng tốc suy luận mô hình học sâu trên các kiến trúc phần cứng của Intel. Lượng tử hóa INT8 chuyển đổi các tham số mạng từ độ chính xác số thực 32-bit sang số nguyên 8-bit, giúp giảm mạnh dung lượng bộ nhớ và yêu cầu tính toán với tổn hao chất lượng mô hình không đáng kể.