Gợi ý mô hình LLM nhỏ gọn cho gọi công cụ trên phần cứng cấu hình thấp

Một người dùng trong cộng đồng LocalLLaMA đã xin gợi ý về các mô hình ngôn ngữ địa phương nhỏ gọn có khả năng gọi công cụ (tool calling) và thực hiện tác vụ đại lý (agentic tasks) trên phần cứng cấu hình thấp, cụ thể là card đồ họa GTX 750 Ti 4GB VRAM và 16GB RAM. Việc chạy các tác vụ agent cục bộ trên phần cứng phổ thông giúp các nhà phát triển cá nhân tiếp cận AI mà không cần phụ thuộc vào GPU đắt tiền hay API đám mây. Tuy nhiên, các mô hình nhỏ thường gặp khó khăn trong việc suy luận phức tạp và tuân thủ định dạng nghiêm ngặt cần thiết cho việc gọi công cụ đáng tin cậy. Hạn chế phần cứng 4GB VRAM buộc người dùng phải chọn các mô hình nhỏ được định lượng (như mô hình 1B-3B hoặc 7B/8B định lượng sâu nạp một phần vào RAM). Đánh đổi lớn nhất của các mô hình nhỏ là độ chính xác tuân thủ hướng dẫn bị giảm và tỷ lệ lỗi cú pháp khi gọi công cụ cao hơn so với các mô hình lớn.