Garlic LLM cho phép PS4 đã vượt ngục chạy mô hình AI nội bộ 9B
Dự án mã nguồn mở Garlic LLM cho phép các máy chơi game PlayStation 4 đã vượt ngục chạy mô hình ngôn ngữ 9 tỷ tham số hoàn toàn ngoại tuyến với tốc độ lên tới 43 từ mã mỗi giây. Nhà phát triển Leonardo Alegria đã đạt được điều này bằng cách bỏ qua các trình điều khiển đồ họa chính thức và giao tiếp trực tiếp với GPU AMD của máy để suy luận AI cấp thấp. Bước đột phá này thể hiện kỹ năng hack phần cứng và tối ưu hóa AI biên ấn tượng, biến phần cứng chơi game cũ thành các máy trạm AI ngoại tuyến có năng lực. Nó mở ra những khả năng mới trong việc tận dụng lại phần cứng tiêu dùng để chạy các mô hình ngôn ngữ lớn cục bộ mà không cần phụ thuộc vào cơ sở hạ tầng đám mây. Để phù hợp với bộ nhớ hạn chế của PS4, Garlic LLM sử dụng phiên bản lượng tử hóa 3-bit hoặc 4-bit của mô hình Qwen3.5-9B và áp dụng giải mã dự đoán (MTP) để nâng cao hiệu suất. Mặc dù việc tạo văn bản cơ bản đạt tới 43 từ mã mỗi giây, việc bật các tính năng bổ sung như đầu vào và đầu ra giọng nói sẽ làm giảm tốc độ tạo xuống khoảng 22 từ mã mỗi giây.
## KIẾN THỨC NỀN
Lượng tử hóa mô hình làm giảm dung lượng bộ nhớ của các mô hình ngôn ngữ lớn bằng cách lưu trữ các trọng số ở định dạng có độ precision thấp hơn, trong khi giải mã dự đoán tăng tốc độ tạo văn bản bằng cách sử dụng một quy trình nhẹ để phác thảo song song nhiều token tương lai cho mô hình chính xác thực. Kiến trúc AMD GCN là kiến trúc tập lệnh đồ họa và điện toán được sử dụng trong GPU của máy chơi game PlayStation 4.