ggerganov/llama.cpp Phát Hành Phiên Bản b12017
Phiên bản llama.cpp b12017 vừa được phát hành với các cập nhật nhỏ, tiêu biểu là việc dọn dẹp mã nguồn RPC như loại bỏ hàm fs_path_to_utf8(). Các bản cập nhật thường kỳ như thế này đảm bảo khả năng duy trì mã nguồn và cải thiện độ ổn định của tính năng suy luận phân tán trên các nền tảng phần cứng khác nhau. Bản phát hành bao gồm các gói nhị phân được biên dịch sẵn cho nhiều nền tảng khác nhau, bao gồm macOS, Linux (với các tùy chọn CUDA, Vulkan và SYCL), Windows và Android.
## KIẾN THỨC NỀN
llama.cpp là một thư viện phần mềm mã nguồn mở do Georgi Gerganov tạo ra, cho phép thực hiện suy luận cục bộ hiệu quả trên nhiều mô hình ngôn ngữ lớn bằng ngôn ngữ C/C++. Thư viện này đóng vai trò là tiêu chuẩn thực tế để chạy các mô hình ngôn ngữ lớn cục bộ và được đồng phát triển cùng với thư viện tensor GGML.