llama.cpp phát hành phiên bản b10286 với điều chỉnh về lặp lại ngữ pháp
Dự án llama.cpp đã phát hành phiên bản b10286, giới thiệu một bản cập nhật nhỏ cho logic phân tích cú pháp ngữ pháp. Cụ thể, phiên bản này chuyển đổi giới hạn lặp lại tối đa thành không giới hạn (unbounded) khi giá trị này được đặt từ 2000 trở lên. Bản phát hành này là một cập nhật định kỳ nhỏ giúp tối ưu hóa cách llama.cpp xử lý các ràng buộc lặp lại lớn trong ngữ pháp hình thức. Nó giúp ngăn ngừa các sự cố phân tích cú pháp hoặc quá tải tiềm ẩn khi các nhà phát triển định nghĩa các mẫu lặp lại cao để ràng buộc đầu ra của LLM. Thay đổi này được triển khai trong pull request #26613, tự động coi bất kỳ giới hạn lặp lại ngữ pháp nào từ 2000 trở lên là không giới hạn. Ngoài ra, bản phát hành này cũng tạm tắt bản dựng macOS Apple Silicon hỗ trợ KleidiAI do một pull request đang xử lý.
## KIẾN THỨC NỀN
llama.cpp sử dụng ngữ pháp GBNF (GGML Backus-Naur Form) để ràng buộc đầu ra của các mô hình ngôn ngữ lớn, đảm bảo chúng tuân thủ các định dạng cụ thể như JSON. Các ngữ pháp này định nghĩa các quy tắc về cách tạo token, bao gồm cả giới hạn lặp lại cho các mẫu cụ thể. KleidiAI là một thư viện mã nguồn mở của Arm được thiết kế để tối ưu hóa hiệu suất khối lượng công việc AI trên CPU Arm.