Lập trình viên chạy thành công mô hình LLM 90M tham số trên Sony PSP đời 2004
Lập trình viên /u/liright đã phát triển dự án mã nguồn mở LLMPSP, cổng và chạy thành công một mô hình ngôn ngữ 90 triệu tham số trực tiếp trên máy chơi game cầm tay Sony PSP ra mắt từ năm 2004. Mô hình chạy cục bộ trên phần cứng máy với tốc độ suy luận khoảng 0,5 đến 0,6 token mỗi giây, mất từ 1 đến 3 phút cho mỗi câu trả lời. Dự án này cho thấy giới hạn tối đa của việc chạy các mô hình LLM tinh gọn trên phần cứng cổ điển có tài nguyên cực kỳ hạn chế mà không phụ thuộc vào điện toán đám mây. Nó minh họa cách các kỹ thuật tối ưu hóa phần mềm hiện đại có thể đưa các mô hình AI siêu nhẹ lên những thiết bị nhúng đời cũ đã ra mắt từ hai thập kỷ trước. Tác giả lưu ý rằng 90 triệu tham số là giới hạn thực tế tối đa của phần cứng PSP trước khi tốc độ suy luận trở nên quá chậm không thể dùng được. Mặc dù mô hình chủ yếu mang tính thử nghiệm vui vẻ—có thể làm thơ ngắn, viết mã không chạy được và trả lời câu hỏi cơ bản bên cạnh việc thường xuyên bị ảo giác—mã nguồn của dự án đã được chia sẻ công khai trên GitHub.
## KIẾN THỨC NỀN
Sony PlayStation Portable (PSP), ra mắt vào năm 2004, được trang bị bộ xử lý MIPS 333 MHz và chỉ có từ 32 MB đến 64 MB RAM hệ thống. Việc chạy các Mô hình Ngôn ngữ Lớn (LLM) thường đòi hỏi gigabyte bộ nhớ và các bộ tăng tốc chuyên dụng, nhưng các kỹ thuật như định lượng (quantization) giúp giảm độ chính xác của trọng số để nén các mô hình nhỏ vừa với dung lượng RAM hạn chế.