ggerganov/llama.cpp Phát Hành Phiên Bản b11829 với Bản Vá Máy Chủ Nhỏ
Dự án llama.cpp đã phát hành phiên bản b11829, giới thiệu một bản sửa lỗi máy chủ cụ thể. Cụ thể hơn, bản cập nhật này đảm bảo rằng các vị trí giữ chỗ sắp xếp lại (rerank placeholder) chỉ được thay thế từ mẫu ban đầu. Bản phát hành gia tăng này cải thiện độ ổn định và độ tin cậy của thành phần máy chủ llama.cpp cho những người dùng dựa vào tính năng sắp xếp lại văn bản. Việc duy trì xử lý mẫu chắc chắn là rất quan trọng đối với các nhà phát triển tích hợp backend LLM cục bộ vào ứng dụng của họ. Bản phát hành này được theo dõi dưới yêu cầu kéo #30864 và bao gồm các tệp nhị phân được biên dịch sẵn cũng như gói phân phối cho nhiều nền tảng khác nhau, bao gồm macOS, Linux, Windows và Android trên các phần cứng đa dạng như CUDA, Vulkan và CPU.
## KIẾN THỨC NỀN
llama.cpp là một thư viện mã nguồn mở do Georgi Gerganov tạo ra, cho phép suy luận hiệu quả các mô hình ngôn ngữ lớn bằng ngôn ngữ C và C++. Nó đóng vai trò là cốt lõi nền tảng cho nhiều công cụ và ứng dụng AI cục bộ, tận dụng thư viện tensor GGML để chạy mô hình trên phần cứng phổ thông.