llama.cpp b10217 hỗ trợ gọi công cụ khi suy nghĩ cho mô hình DS4
Phiên bản b10217 của llama.cpp giới thiệu hỗ trợ gọi công cụ (tool calling) trong giai đoạn suy nghĩ (thinking phase) dành riêng cho các mô hình DS4. Bản cập nhật này cho phép giao diện trò chuyện xử lý các lệnh gọi công cụ trong khi mô hình đang thực hiện quá trình suy luận. Cải tiến này nâng cao khả năng suy luận LLM cục bộ bằng cách cho phép các mô hình tập trung vào suy luận tương tác với các API và công cụ bên ngoài ngay trong quá trình suy nghĩ. Nó giúp thu hẹp khoảng cách giữa suy luận từng bước phức tạp và việc thực thi hành động thực tế trong môi trường cục bộ. Tính năng này được triển khai thông qua pull request #26269 trong kho lưu trữ llama.cpp, tập trung vào chức năng trò chuyện. Người dùng chạy các mô hình DS4 cục bộ giờ đây có thể tận dụng tích hợp công cụ mà không làm gián đoạn chuỗi suy nghĩ (chain-of-thought) nội bộ của mô hình.
## KIẾN THỨC NỀN
llama.cpp là một công cụ suy luận mã nguồn mở phổ biến được thiết kế để chạy các mô hình ngôn ngữ lớn cục bộ với hiệu suất cao trên phần cứng tiêu dùng. Gọi công cụ (tool calling) cho phép LLM truy vấn cơ sở dữ liệu, chạy mã hoặc truy cập API, trong khi "giai đoạn suy nghĩ" đại diện cho các bước suy luận nội bộ mà mô hình thực hiện trước khi đưa ra câu trả lời cuối cùng.