Thử nghiệm lập trình tự chủ cục bộ trên MacBook Air mất 63 giờ
Một nhà phát triển đã tạo thành công một trình mô phỏng bay cơ bản bằng HTML bằng cách sử dụng mô hình Qwen 27B lượng tử hóa 3-bit chạy cục bộ trên MacBook Air M2. Tuy nhiên, quá trình này mất tới 63 giờ để hoàn thành do giới hạn phần cứng và cửa sổ ngữ cảnh lớn lên tới 57k. Thử nghiệm này làm nổi bật các nút thắt cổ chai về hiệu năng khi chạy các LLM cục bộ lớn cho các tác vụ lập trình tự chủ phức tạp trên phần cứng phổ thông. Nó chứng minh rằng mặc dù việc chạy cục bộ là khả thi, các API dựa trên đám mây vẫn vượt trội hơn nhiều về tốc độ và chất lượng đầu ra cho các tác vụ này. Cấu hình cục bộ sử dụng LM Studio với mô hình Qwen 27B Q3_K_S, trong khi các giải pháp đám mây như Google AI Studio và Qwen Studio hoàn thành cùng một tác vụ lần lượt trong 20 phút và 2 giờ với kết quả tốt hơn. Chỉ riêng câu lệnh đầu tiên đã mất 47,8 giờ để xử lý cục bộ trước khi câu lệnh sửa lỗi thứ hai giải quyết được vấn đề phím bấm.
## KIẾN THỨC NỀN
Lập trình tự chủ (agentic coding) đề cập đến việc sử dụng các tác nhân AI có thể tự lên kế hoạch, viết và sửa lỗi mã nguồn qua nhiều bước thay vì chỉ hoàn thành từng dòng lệnh đơn lẻ. Việc chạy các mô hình này cục bộ thường yêu cầu lượng tử hóa (quantization), chẳng hạn như định dạng Q3_K_S, giúp nén kích thước mô hình để vừa với RAM của máy tính cá nhân nhưng phải đánh đổi bằng độ chính xác suy luận. Các công cụ như LM Studio cung cấp giao diện thân thiện để chạy và quản lý các mô hình lượng tử hóa này trực tiếp trên máy tính cá nhân.