~/LLAMA CPP/ggerganov-llama-cpp-released-b12229-with-json-schema-fixes

ggerganov/llama.cpp Phát Hành b12229 Cải Thiện JSON Schema

Bản phát hành b12229 của llama.cpp đã sửa một lỗi khiến các lược đồ JSON cấp cao trong response_format bị bỏ qua bởi điểm cuối máy chủ tương thích với OpenAI. Giờ đây, hệ thống đã chấp nhận chính xác các lược đồ được cung cấp trực tiếp dưới dạng response_format.schema bên cạnh dạng gói lồng nhau. Bản sửa lỗi này đảm bảo khả năng tương thích tốt hơn với các ứng dụng khách khác nhau dựa trên tiêu chuẩn API của OpenAI cho đầu ra có cấu trúc khi chạy các mô hình cục bộ. Nó ngăn chặn tình trạng lỗi ngầm khi quá trình tạo văn bản trước đó chạy không bị ràng buộc mặc dù có yêu cầu lược đồ JSON. Bản cập nhật cải thiện cách máy chủ kiểm tra sự hiện diện của các khóa json_schema, ưu tiên cho phần bao bọc trong khi vẫn xử lý chính xác các lược đồ cấp cao. Nó cũng bổ sung thêm các trường hợp kiểm thử để ngăn ngừa lỗi hồi quy và cập nhật tài liệu trong tệp README.

## KIẾN THỨC NỀN

llama.cpp là một thư viện phần mềm mã nguồn mở thực hiện suy luận trên nhiều mô hình ngôn ngữ lớn khác nhau và bao gồm một máy chủ có điểm cuối API tương thích với OpenAI. Đầu ra có cấu trúc trong API này cho phép các nhà phát triển ép buộc một lược đồ JSON nghiêm ngặt đối với các phản hồi của mô hình.

## TÀI LIỆU THAM KHẢO

## TỪ KHÓA

#llama.cpp#llm#ai-infrastructure#github-releases

$ subscribe --daily