Nhà Phát Triển Nén LLM Kể Chuyện Chạy Cục Bộ Thành Tệp HTML Chỉ 24KB
Một nhà phát triển đã tạo ra tệp HTML hoàn toàn độc lập dung lượng chỉ 24KB chứa cả mô hình LLM siêu nhỏ lẫn bộ thực thi JavaScript, cho phép tạo câu chuyện cục bộ ngay trên trình duyệt với tốc độ vượt quá 60 token mỗi giây trên điện thoại. Dự án đã nén mô hình MacroStory 81KB FP32 ban đầu thông qua kỹ thuật lượng hóa thích ứng, Huấn luyện Nhận biết Lượng hóa (QAT) và nén tối đa mã nguồn HTML/JS. Dù được xây dựng như một thử nghiệm kỹ thuật, dự án này minh họa giới hạn cực đại của việc nén mô hình và thực thi AI tại thiết bị mà không cần phụ thuộc bên ngoài. Nó cho thấy cách tối ưu hóa tùy chỉnh có thể mang lại khả năng suy luận AI riêng tư, tức thì ngay trong trình duyệt web thông thường mà không cần máy chủ hay API bên ngoài. Khác với các LLM thông thường nơi trọng số tensor chiếm đa số bộ nhớ, phần nhúng (embeddings) chiếm tới khoảng 60% dung lượng của mô hình siêu nhỏ, khiến chúng đặc biệt nhạy cảm với chi phí nén. Các kỹ thuật lượng hóa bit thấp phổ biến như LittleBit hay GGUF K-quants không phù hợp do chi phí dữ liệu đặc tả (metadata) vượt quá dung lượng tiết kiệm được, buộc tác giả phải dùng phương pháp tùy chỉnh đạt độ phân kỳ KL 0,04 kết hợp thuật toán nén Zopfli.
## KIẾN THỨC NỀN
Lượng hóa (Quantization) là kỹ thuật giảm độ chính xác bit của trọng số mô hình (như chuyển số thực 32-bit sang các định dạng số nguyên nhỏ hơn) nhằm giảm mức dung lượng bộ nhớ và tăng tốc độ tính toán. Kỹ thuật Huấn luyện Nhận biết Lượng hóa (QAT) mô phỏng các giới hạn độ chính xác thấp này trong quá trình tinh chỉnh, giúp mô hình tự học cách duy trì độ chính xác dù bị tổn thất độ phân giải số học.