llama.cpp Phát Hành Bản b11622 Cập Nhật Hàm tojson của Jinja Giống Python
Bản phát hành b11622 của llama.cpp cập nhật hàm tojson trong công cụ tạo khuôn mẫu jinja để tuần tự hóa các số thực (float) một cách chính xác, khớp với hành vi của Python. Thay vì sử dụng luồng C++ tiêu chuẩn vốn giới hạn độ chính xác, bản cập nhật này ghi ra biểu diễn ngắn nhất giúp bảo toàn giá trị chính xác. Bản sửa lỗi này đảm bảo tính nhất quán trong các định nghĩa công cụ, đối số gọi công cụ và các đầu ra khuôn mẫu khác khi sử dụng các mô hình ngôn ngữ cục bộ. Nó ngăn chặn tình trạng cắt xén độ chính xác không mong muốn hoặc sự khác biệt về định dạng giữa các công cụ dựa trên Python và môi trường suy luận C++. Trước đây, tojson in số thực thông qua luồng C++ dẫn đến 6 chữ số có nghĩa và bỏ qua phần thập phân như '.0', biến các giá trị như 48.858844 thành 48.8588. Bản cập nhật áp dụng logic tương tự như hàm json.dumps của Python và các bộ lọc string/safe dành cho số thực.
## KIẾN THỨC NỀN
llama.cpp là một thư viện phần mềm mã nguồn mở thực hiện suy luận trên nhiều mô hình ngôn ngữ lớn khác nhau như Llama của Meta, đóng vai trò là nền tảng cốt lõi cho nhiều ứng dụng AI chạy cục bộ. Jinja là một công cụ tạo khuôn mẫu dựa trên văn bản phổ biến được sử dụng nhiều trong hệ sinh thái Python, thường được tích hợp vào kiến trúc gọi công cụ của LLM để định dạng các câu lệnh nhắc có cấu trúc.