ggerganov/llama.cpp Phát Hành Phiên Bản b11798 Hỗ Trợ Ký Tự Thoát Hex Cho Jinja
Phiên bản b11798 của llama.cpp giới thiệu tính năng hỗ trợ các ký tự thoát chuỗi dạng thập lục phân (hexadecimal string escapes) trong các mẫu Jinja. Bản phát hành này cũng cung cấp các tài nguyên nhị phân đa nền tảng được xây dựng sẵn cho macOS, Linux, Windows và các môi trường di động. Bản cập nhật này cải thiện tính tương thích và sự linh hoạt trong việc hiển thị các mẫu câu lệnh (prompt template) khi tương tác với các mô hình ngôn ngữ lớn dựa vào định dạng Jinja. Nó đảm bảo các nhà phát triển sử dụng đường ống suy luận cục bộ có được các bản dựng đa nền tảng đáng tin cậy và luôn cập nhật. Bản phát hành giải quyết yêu cầu kéo (pull request) #30929, cho phép sử dụng các ký tự thoát dạng thập lục phân trong chuỗi mẫu. Ngoài ra, một số tính năng thử nghiệm như hỗ trợ KleidiAI trên Apple Silicon tạm thời vẫn bị vô hiệu hóa trong lúc chờ các công việc tích hợp tiếp theo.
## KIẾN THỨC NỀN
llama.cpp là một thư viện phần mềm mã nguồn mở phổ biến được thiết kế để thực hiện suy luận hiệu quả trên các mô hình ngôn ngữ lớn như Llama của Meta bằng phần cứng phổ thông. Các mẫu Jinja thường được các mô hình ngôn ngữ hiện đại sử dụng để định dạng các đoạn hội thoại có cấu trúc, câu lệnh hệ thống và lệnh gọi công cụ thành một chuỗi token thống nhất.