Bản phát hành llama.cpp b12427 bổ sung các tối ưu hóa MCP phía máy chủ
Bản phát hành llama.cpp b12427 giới thiệu các tối ưu hóa phía máy chủ giúp bỏ qua quá trình phát hiện Giao thức Ngữ cảnh Mô hình (MCP) đối với các router con. Thay đổi này giúp đơn giản hóa quá trình định tuyến trong kiến trúc máy chủ. Cập nhật này cải thiện hiệu suất hoạt động và hành vi khởi động của máy chủ llama.cpp khi xử lý các cấu trúc định tuyến phức tạp. Điều này mang lại lợi ích cho các nhà phát triển triển khai máy chủ mô hình ngôn ngữ cục bộ sử dụng MCP để tích hợp công cụ bên ngoài. Bản phát hành này được theo dõi dưới yêu cầu kéo (pull request) #32359 và bao gồm các tệp nhị phân đa nền tảng trên macOS, Linux, Android và Windows với các phần cứng hỗ trợ khác nhau như CUDA, Vulkan và OpenVINO.
## KIẾN THỨC NỀN
llama.cpp là một thư viện phần mềm mã nguồn mở cho phép suy luận hiệu quả các mô hình ngôn ngữ lớn trên phần cứng cục bộ với cấu hình tối thiểu. Giao thức Ngữ cảnh Mô hình (MCP) là một tiêu chuẩn mở được giới thiệu nhằm kết nối các ứng dụng AI an toàn với các nguồn dữ liệu và công cụ bên ngoài.