ggerganov/llama.cpp Phát Hành Phiên Bản b12489
Phiên bản b12489 của llama.cpp khắc phục lỗi phần mềm xảy ra khi cả hai tùy chọn lấy mẫu grammar và ignore_eos được bật đồng thời. Bản phát hành này cũng cập nhật thành phần máy chủ để trả về lỗi HTTP 400 khi các tùy chọn xung đột này được sử dụng. Bản cập nhật này cải thiện tính ổn định và độ tin cậy của máy chủ llama.cpp khi xử lý các cấu hình lấy mẫu nâng cao. Nó ngăn chặn tình trạng sập đột ngột cho các nhà phát triển sử dụng tính năng tạo văn bản bị ràng buộc kết hợp với cài đặt bỏ qua kết thúc chuỗi. Bản vá chuyển trực tiếp việc kiểm tra cấu hình vào mô-đun lấy mẫu và loại bỏ các trường hợp kiểm thử dư thừa. Các nhà phát triển cố gắng sử dụng đồng thời cả hai tính năng giờ đây sẽ nhận được phản hồi yêu cầu không hợp lệ một cách mượt mà thay vì bị sập máy chủ.
## KIẾN THỨC NỀN
llama.cpp là một dự án mã nguồn mở cho phép suy luận hiệu quả đối với các mô hình ngôn ngữ lớn trên phần cứng phổ thông. Việc lấy mẫu theo ngữ pháp giới hạn đầu ra của mô hình tuân theo các cấu trúc hình thức cụ thể, trong khi việc bỏ qua kết thúc chuỗi buộc mô hình tiếp tục tạo văn bản vượt qua token dừng thông thường của nó.