Phiên bản llama.cpp b11297 Hỗ trợ Thuộc tính Mảng Ép kiểu trong Template Jinja
Phiên bản b11297 của llama.cpp bổ sung khả năng hỗ trợ các thuộc tính mảng được ép kiểu (coerced array attributes) trong trình xử lý template Jinja thông qua pull request #29574. Bản phát hành tự động này đi kèm các bài kiểm thử unit test mới cùng các tệp biên dịch sẵn cho Linux, Windows, macOS, Android và nhiều phần cứng tăng tốc. Nâng cấp bộ xử lý template Jinja giúp tăng cường khả năng tương thích với chuẩn định dạng của Hugging Face cho các mô hình ngôn ngữ lớn (LLM) hiện đại. Điều này giúp ngăn ngừa lỗi xử lý prompt khi định dạng các cuộc hội thoại nhiều lượt và các cuộc gọi công cụ phức tạp trong quá trình chạy LLM cục bộ. Bản vá này cụ thể hóa việc xử lý các thuộc tính mảng được ép kiểu dữ liệu bên trong logic phân tích Jinja bằng C++, đi kèm với các kịch bản kiểm thử riêng. Bản phân phối bao gồm các tệp thực thi hỗ trợ CUDA 12/13, Vulkan, ROCm, OpenVINO, SYCL và các bộ xử lý Snapdragon.
## KIẾN THỨC NỀN
llama.cpp là thư viện mã nguồn mở C/C++ phổ biến được thiết kế để suy luận mô hình ngôn ngữ lớn (LLM) hiệu quả trên phần cứng cá nhân. Thư viện sử dụng các mẫu Jinja2 để chuyển đổi các tin nhắn người dùng và chỉ dẫn hệ thống thành chuỗi prompt theo đúng định dạng mà từng kiến trúc mô hình AI yêu cầu.