Bản phát hành llama.cpp b12344 bổ sung tính năng hủy gọi công cụ MCP
Phiên bản phát hành b12344 của llama.cpp giới thiệu tính năng hủy lệnh gọi công cụ Model Context Protocol (MCP) ở phía máy chủ khi máy khách ngắt kết nối hoặc xảy ra quá thời gian chờ. Ngoài ra, bản cập nhật này cũng rút ngắn các bài kiểm tra hủy MCP và khắc phục lỗi kiểm tra kiểu dữ liệu. Cải tiến này giúp ngăn chặn các tiến trình bị treo và lãng phí tài nguyên máy tính khi máy khách đột ngột ngắt kết nối trong lúc các thao tác công cụ đang chạy dài. Nó nâng cao độ tin cậy tổng thể và khả năng quản lý tài nguyên của các máy chủ LLM cục bộ tương tác với các công cụ bên ngoài. Bản sửa lỗi được theo dõi dưới yêu cầu kéo #32025 trong kho lưu trữ chính thức và xử lý các giao thức dọn dẹp phù hợp cho các hoạt động ở phía máy chủ. Bản phát hành này cũng đóng gói các tệp nhị phân trên nhiều nền tảng bao gồm macOS, Windows, Linux và Android với nhiều phần cứng hỗ trợ khác nhau.
## KIẾN THỨC NỀN
llama.cpp là một thư viện mã nguồn mở cho phép suy luận các mô hình ngôn ngữ lớn một cách hiệu quả trên phần cứng cục bộ, được phát triển song song với thư viện tensor GGML. Model Context Protocol (MCP) là một tiêu chuẩn mở giúp kết nối các ứng dụng AI với các nguồn dữ liệu và công cụ bên ngoài.