llama.cpp Phát Hành Bản b11063 Sửa Lỗi Xử Lý UTF-8 Trong Bộ Phân Tích PEG
Phiên bản b11063 của llama.cpp mang đến một bản sửa lỗi để xử lý an toàn các chuỗi UTF-8 không hợp lệ trong Cây Cú pháp Trừu tượng (AST) của mô-đun bộ phân tích PEG. Cập nhật này đảm bảo bộ phân tích trả về các bộ phận con tối đa cho các byte bị lỗi theo đúng khuyến nghị của chuẩn Unicode. Bản sửa lỗi này nâng cao độ ổn định cho bộ phân tích khi bắt buộc áp dụng các ngữ pháp đầu ra có cấu trúc (như JSON) trong quá trình LLM tạo văn bản. Nó giúp ngăn ngừa sự cố sập hệ thống hoặc lỗi phân tích không mong muốn khi xử lý văn bản thô hoặc bị hỏng chứa các mã hóa ký tự không hợp lệ. Được triển khai trong PR #29161 thuộc mô-đun common/peg, bản vá loại bỏ các đối số giải mã nghiêm ngặt và chuẩn hóa việc thay thế chuỗi byte lỗi. Các tệp thực thi biên dịch sẵn cho macOS, Linux, Windows, Android và iOS cũng được phát hành kèm theo cập nhật mã nguồn này.
## KIẾN THỨC NỀN
llama.cpp là một công cụ suy luận nguồn mở phổ biến được thiết kế để thực thi các mô hình ngôn ngữ lớn một cách hiệu quả trên phần cứng cục bộ. Ngữ pháp Phân tích Biểu thức (PEG) là các ngữ pháp hình thức được sử dụng trong hệ thống phần mềm để xây dựng các bộ phân tích nhằm kiểm tra và cấu trúc hóa văn bản được tạo ra thành Cây Cú pháp Trừu tượng (AST).