Đánh giá LLM tham số nhỏ qua khả năng gọi công cụ thay vì kiến thức

Một nhà phát triển đã chia sẻ sự thay đổi trong cách đánh giá các mô hình ngôn ngữ lớn có lượng tham số hoạt động nhỏ, cho rằng nên đánh giá chúng dựa trên khả năng gọi công cụ và truy xuất dữ liệu ngoài thay vì kiến thức nội tại. Tác giả lưu ý rằng mặc dù các mô hình này thường xuyên bịa đặt thông tin ít phổ biến, chúng lại có thể hoạt động rất tốt trong việc tận dụng API, mã nguồn và tài liệu bên ngoài nếu được định hướng đúng cách. Góc nhìn này chuyển dịch sự tập trung khi triển khai LLM cục bộ từ các mô hình khổng lồ, tốn tài nguyên với kiến thức nội tại sâu rộng sang các mô hình nhỏ, hiệu quả được tối ưu hóa cho việc gọi công cụ và RAG (Tạo sinh tăng cường truy xuất). Điều này mở ra một hướng đi thực tế để triển khai các tác nhân AI trên phần cứng tiêu dùng bằng cách dựa vào cơ sở dữ liệu bên ngoài thay vì các trọng số mô hình tĩnh và khó cập nhật. Một hạn chế lớn của phương pháp này là các mô hình nhỏ vẫn phải có đủ khả năng tự nhận biết để nhận ra khi nào chúng không biết câu trả lời, nếu không chúng sẽ tự tin bịa đặt thông tin thay vì kích hoạt lệnh gọi công cụ. Tác giả đề xuất rằng các mô hình nên được huấn luyện hoặc tinh chỉnh rõ ràng để chuyển hướng sang các công cụ bên ngoài khi độ tự tin thấp, thay vì chỉ dựa vào các bài kiểm tra tiêu chuẩn như MMLU.