ggerganov/llama.cpp Phát Hành Phiên Bản b12004
Dự án llama.cpp đã phát hành phiên bản b12004, mang đến bản cập nhật cụ thể nhằm khắc phục lỗi ép buộc ngân sách suy luận dựa trên thẻ kết thúc từ câu lệnh nhắc (prompt). Bản cập nhật bảo trì này tiếp tục chuỗi các cải tiến gia tăng thường xuyên cho thư viện. Bản phát hành này giúp các nhà phát triển và người thực hành AI duy trì hành vi suy luận LLM cục bộ ổn định, đặc biệt đối với các mô hình phụ thuộc vào ngân sách suy luận có cấu trúc và thẻ nhắc. Việc duy trì quyền kiểm soát các tham số suy luận đảm bảo đầu ra dễ dự đoán hơn và tích hợp tốt hơn với phần cứng người dùng cuối. Bản cập nhật giải quyết cụ thể vấn đề #31374 liên quan đến việc xử lý ngân sách suy luận trong quá trình phân tích câu lệnh nhắc. Các gói nhị phân biên dịch sẵn và mã nguồn được cung cấp trên nhiều nền tảng bao gồm macOS, Linux, Android và Windows với các phần cứng tăng tốc khác nhau.
## KIẾN THỨC NỀN
llama.cpp là một thư viện phần mềm mã nguồn mở phổ biến do Georgi Gerganov tạo ra, cho phép thực hiện suy luận mô hình ngôn ngữ lớn một cách hiệu quả trên phần cứng phổ thông. Thư viện này đóng vai trò là nền tảng cốt lõi cho nhiều công cụ và ứng dụng AI cục bộ bằng cách chạy trực tiếp trọng số mô hình thông qua mã nguồn C/C++.