Lập trình viên tạo game trong 5 giờ để thử nghiệm giới hạn Qwen 27B cục bộ
Một lập trình viên đã tạo một trò chơi trong vòng 5 giờ bằng cách sử dụng mô hình Qwen 27B định dạng nén Q4_K_M chạy cục bộ trên GPU Nvidia RTX 3090 đã ép xung. Tác giả đã công bố kế hoạch mã nguồn mở dự án trên GitHub để thể hiện giới hạn năng lực thực tế của các mô hình ngôn ngữ 27B chạy cục bộ. Thử nghiệm này cho thấy cách các card đồ họa thương mại có thể khai thác các mô hình LLM tầm trung mã nguồn mở cho các dự án lập trình phức tạp mà không cần dựa vào API trả phí trên đám mây. Nó mang lại cái nhìn thực tế cho các lập trình viên quan tâm đến việc phát triển game và tự động hóa mã nguồn bằng AI chạy cục bộ. Nhà phát triển đã ép xung GPU RTX 3090 (+12% hiệu năng) bằng MSI Afterburner cùng với hai cấu hình khung lệnh (harness) khác nhau để tạo mã nguồn. Mô hình được chạy ở định dạng lượng tử hóa Q4_K_M nhằm đáp ứng giới hạn bộ nhớ VRAM nhưng vẫn giữ được chất lượng đầu ra.
## KIẾN THỨC NỀN
Các kỹ thuật lượng tử hóa (quantization) như Q4_K_M nén các mô hình ngôn ngữ lớn bằng cách giảm độ chính xác của trọng số, giúp các mô hình như Qwen 27B có thể chạy vừa trong GPU thương mại 24 GB như Nvidia RTX 3090. Qwen là dòng mô hình ngôn ngữ lớn mã nguồn mở được phát triển bởi Alibaba, nổi tiếng với khả năng lập trình và suy luận tốt.