llama.cpp Phát Hành Bản b12391 Hỗ Trợ Gọi Công Cụ Cho Ministral-3
Dự án llama.cpp vừa phát hành bản dựng b12391, mang đến khả năng hỗ trợ gọi công cụ bên trong các khối suy luận dành riêng cho các mô hình Ministral-3. Bản cập nhật này tinh chỉnh logic bộ phân tích và cách xử lý thẻ kết thúc suy luận nhằm đảm bảo tích hợp mượt mà các tính năng gọi hàm. Cải tiến này nâng cao năng lực của các công cụ suy luận LLM cục bộ khi xử lý các luồng công việc tự trị nâng cao, đòi hỏi mô hình suy luận phải gọi các công cụ bên ngoài. Các nhà phát triển dựa vào llama.cpp để triển khai cục bộ giờ đây có thể tận dụng tốt hơn các mô hình như Ministral-3 cho các tác vụ phức tạp yêu cầu thực thi hàm. Yêu cầu kéo (#32271) giải quyết các phản hồi đánh giá cụ thể liên quan đến thẻ kết thúc suy luận của Ministral-3 bằng cách sử dụng lựa chọn giữa các token kết thúc tư duy và token gọi công cụ. Bản cập nhật cũng khôi phục các thẻ bị xóa không cần thiết và bao gồm các bài kiểm tra được cập nhật để đảm bảo tính ổn định.
## KIẾN THỨC NỀN
llama.cpp là một thư viện mã nguồn mở phổ biến dùng để thực hiện suy luận cục bộ trên các mô hình ngôn ngữ lớn dựa trên thư viện tensor GGML. Tính năng gọi công cụ cho phép các mô hình ngôn ngữ tương tác với các API bên ngoài hoặc các hàm phần mềm bằng cách tạo ra các payload có cấu trúc trong quá trình sinh văn bản.