~/LLAMA CPP/ggerganov-llama-cpp-released-version-b12405

ggerganov/llama.cpp phát hành phiên bản b12405

Phiên bản b12405 của llama.cpp giới thiệu một bản vá giúp từ chối các loại kích hoạt ngữ pháp (grammar trigger) nằm ngoài phạm vi thay vì làm ứng dụng bị hủy (abort). Bản cập nhật này đồng thời gỡ bỏ một bài kiểm tra hồi quy liên quan đến loại kích hoạt ngữ pháp không hợp lệ. Bản sửa lỗi này cải thiện độ ổn định và độ bền vững tổng thể của tính năng tạo sinh có ràng buộc ngữ pháp trong llama.cpp, ngăn chặn các sự cố sập ứng dụng bất ngờ khi xảy ra cấu hình không hợp lệ hoặc các trường hợp biên. Điều này mang lại trải nghiệm mượt mà hơn cho các nhà phát triển xây dựng ứng dụng dựa trên việc tạo ra đầu ra có cấu trúc. Bản vá giải quyết vấn đề #30835 và yêu cầu kéo (pull request) #31478 bằng cách xử lý một cách mượt mà các loại kích hoạt ngữ pháp vượt ngoài phạm vi trong mã nguồn chung. Nó cũng làm sạch bộ kiểm thử bằng cách loại bỏ bài kiểm tra hồi quy cũ không còn phù hợp.

## KIẾN THỨC NỀN

llama.cpp là một thư viện mã nguồn mở phổ biến cho phép thực hiện suy luận hiệu quả cho các mô hình ngôn ngữ lớn ngay trên thiết bị cục bộ thông qua nhiều nền tảng phần cứng khác nhau. Các ràng buộc ngữ pháp trong llama.cpp cho phép nhà phát triển kiểm soát chặt chẽ cấu trúc cú pháp của đầu ra văn bản do mô hình tạo ra.

## TÀI LIỆU THAM KHẢO

## TỪ KHÓA

#llama.cpp#ai#llm#release#software-update

$ subscribe --daily