Thử nghiệm mô hình LLM JetBrains Mellum2.1-12B trên agent lập trình Pi

Một lập trình viên đã thử nghiệm mô hình Mixture-of-Experts Mellum2.1-12B-A2.5B mã nguồn mở của JetBrains bằng agent lập trình Pi trên phần cứng cá nhân. Kết quả cho thấy mặc dù mô hình gặp khó khăn với việc sinh mã nguồn phức tạp chỉ qua một câu lệnh (one-shot), nó lại thể hiện xuất sắc trong các tác vụ agent nhiều bước, gọi công cụ (tool calling) và tự sửa lỗi mã nguồn. Thử nghiệm này làm nổi bật cách các mô hình mở dung lượng nhỏ tập trung vào agent có thể mang lại quy trình lập trình tự động hiệu quả ngay trên phần cứng cục bộ mà không cần đến các LLM đám mây khổng lồ. Điều này cho thấy khả năng sử dụng công cụ hiệu quả và tự khắc phục lỗi đôi khi quan trọng hơn chất lượng tạo mã nguồn trong một lần phát lệnh đơn lẻ. Chạy ở định dạng định lượng Q8 với ngữ cảnh 131K trên máy tính xách tay có 8GB VRAM, mô hình đạt tốc độ khoảng 40 token/giây thông qua llama-server. Mặc dù tạo ra kết quả kém trên các dự án độc lập như hệ điều hành trình duyệt hay bản sao Minecraft, nó lại điều hướng thành công một cơ sở mã nguồn có sẵn để chỉnh sửa logic trò chơi và thực hiện các tác vụ terminal nhiều bước như chuyển đổi video quay màn hình thành tệp GIF.