ggerganov/llama.cpp Phát Hành Phiên Bản Xây Dựng b12015
Dự án llama.cpp vừa phát hành phiên bản xây dựng b12015, bao gồm một cập nhật mã nguồn nhỏ giúp loại bỏ hàm fs_path_to_utf8(). Bản phát hành này cũng cung cấp các tệp nhị phân được biên dịch sẵn cho nhiều nền tảng và phần cứng khác nhau. Các bản cập nhật định kỳ như b12015 giúp duy trì sự ổn định của hệ sinh thái và đảm bảo nhà phát triển cùng người dùng có quyền truy cập vào các bản sửa lỗi mới nhất. Việc duy trì liên tục này rất cần thiết để hỗ trợ suy luận AI cục bộ hiệu quả trên nhiều phần cứng khác nhau. Bản dựng bao gồm đóng góp từ Adrien Gallouët tại Hugging Face và đóng gói các tệp nhị phân cho macOS, Linux, Windows cùng Android, hỗ trợ nhiều bộ tăng tốc khác nhau như CUDA, Vulkan và OpenVINO.
## KIẾN THỨC NỀN
llama.cpp là một thư viện mã nguồn mở cho phép thực hiện suy luận mô hình ngôn ngữ lớn một cách hiệu quả trên phần cứng phổ thông. Thư viện này tạo thành nền tảng cho nhiều ứng dụng AI cục bộ và dựa vào thư viện tensor GGML để tối ưu hóa việc thực thi trên nhiều nền tảng.