Mô Hình Qwen 27B Nén Tạo Thành Công Game Super Mario Bằng HTML Trong Một Prompt
Một nhà phát triển đã tạo thành công một trò chơi Super Mario bằng HTML độc lập chỉ với một prompt duy nhất bằng mô hình Qwen 27B nén 4-bit chạy cục bộ. Chạy qua llama.cpp với cửa sổ bối cảnh 64k và chế độ suy nghĩ mở rộng, mô hình đã hoàn thành việc sinh mã trong 117 phút. Thành tựu này thể hiện năng lực lập trình phát triển nhanh chóng của các mô hình ngôn ngữ mở cỡ vừa chạy trên phần cứng thương mại. Nó chứng minh rằng các kỹ thuật như lượng tử hóa mô hình và suy luận mở rộng cho phép AI cục bộ xây dựng các ứng dụng phức tạp trong một tệp duy nhất mà không cần hướng dẫn trung gian. Quá trình sinh mã sử dụng card đồ họa RTX 4070 Ti (12GB VRAM) kết nối qua RPC của llama.cpp, áp dụng lượng tử hóa Q4_K_M và nén KV cache 8-bit để vừa với cửa sổ bối cảnh 64k. Đạt tốc độ xử lý trung bình 7,6 token/giây, mô hình đã tạo thành công toàn bộ HTML, CSS, JavaScript và logic trò chơi vào một tệp duy nhất.
## KIẾN THỨC NỀN
Các kỹ thuật lượng tử hóa mô hình như GGUF Q4_K_M giúp giảm dung lượng bộ nhớ của LLM bằng cách nén trọng số xuống độ chính xác thấp hơn, giúp mô hình lớn vừa với VRAM của GPU cá nhân. Ngoài ra, lượng tử hóa KV cache 8-bit giúp giảm thiểu mức tiêu thụ bộ nhớ khi xử lý ngữ cảnh dài trong quá trình suy luận. Chế độ dự đoán đa token và suy nghĩ mở rộng cho phép mô hình lập kế hoạch đầu ra phức tạp chính xác hơn trước khi xuất văn bản.