llama.cpp Phát Hành Bản b11246 Sửa Lỗi Định Dạng JSON Schema Cho Muse Glimmer
Phiên bản b11246 của llama.cpp khắc phục lỗi khiến mô hình Muse Glimmer bỏ qua định dạng phản hồi JSON schema khi sử dụng mẫu hội thoại Jinja. Bản vá cũng cải thiện xử lý mẫu hội thoại bằng cách hỗ trợ các khối mã JSON và tinh chỉnh lại định dạng các lựa chọn. Đầu ra có cấu trúc là yếu tố cốt lõi giúp các mô hình agentic như Muse Glimmer tạo ra dữ liệu JSON chính xác cho việc gọi hàm và thực thi công cụ. Việc đảm bảo mẫu Jinja tuân thủ định dạng schema giúp tránh các lỗi tích hợp trong quy trình tự động hóa. Bản sửa lỗi được thực hiện trong PR #29615 bởi nhà phát triển Alde Rojas nhằm giải quyết issue #29613. Các gói tệp thực thi cập nhật đã được phát hành đồng thời cho macOS, Linux, Windows, Android và nền tảng Snapdragon.
## KIẾN THỨC NỀN
llama.cpp là một bộ khung suy luận C/C++ mã nguồn mở phổ biến dùng để chạy các mô hình ngôn ngữ lớn hiệu quả trên phần cứng cá nhân. Các mô hình hiện đại sử dụng mẫu hội thoại Jinja để cấu trúc câu lệnh và kết hợp các ràng buộc JSON schema nhằm đảm bảo LLM tạo ra dữ liệu có cấu trúc hợp lệ.