ggerganov/llama.cpp Phát Hành Phiên Bản b12240 Hỗ Trợ Chuyển Đổi JSON Schema
Phiên bản b12240 của llama.cpp bổ sung khả năng chuyển đổi text.format.json_schema thành các phản hồi hoàn thành (completions) trong API phản hồi của máy chủ. Bản cập nhật nhỏ này giúp cải thiện việc xử lý dữ liệu có cấu trúc trực tiếp thông qua máy chủ suy luận. Cải tiến này giúp các nhà phát triển dễ dàng ép buộc các mô hình ngôn ngữ lớn cục bộ tạo ra đầu ra có cấu trúc, dự đoán được và máy có thể đọc được. Điều này giúp đơn giản hóa việc tích hợp công cụ và đảm bảo phản hồi của mô hình tuân thủ các lược đồ ứng dụng cụ thể. Bản cập nhật này được theo dõi dưới yêu cầu kéo (pull request) #26145 và đi kèm với các tệp nhị phân cùng thư viện được biên dịch sẵn trên nhiều nền tảng khác nhau bao gồm macOS, Linux, Android và Windows.
## KIẾN THỨC NỀN
llama.cpp là một thư viện mã nguồn mở cho phép thực hiện suy luận hiệu quả cho các mô hình ngôn ngữ lớn như Llama của Meta bằng cách sử dụng thư viện tensor GGML. JSON Schema thường được sử dụng trong các quy trình làm việc AI để đảm bảo đầu ra của mô hình tuân thủ nghiêm ngặt định dạng được xác định trước nhằm phân tích cú pháp đáng tin cậy.