ggerganov/llama.cpp Phát Hành Bản Xây Dựng b11887
Bản phát hành llama.cpp b11887 bao gồm các điều chỉnh nhỏ bên trong đối với cài đặt luồng mặc định cho test-llama-context. Bản dựng tự động này cung cấp các tệp nhị phân đa nền tảng đã được cập nhật cho các hệ điều hành và bộ tăng tốc phần cứng khác nhau. Các bản cập nhật thường xuyên đảm bảo rằng các nhà phát triển phụ thuộc vào llama.cpp để suy luận mô hình ngôn ngữ lớn cục bộ vẫn duy trì được tính ổn định và các cải tiến kiểm thử tích hợp liên tục. Điều này hỗ trợ hệ sinh thái đang phát triển mạnh mẽ của các công cụ triển khai AI cục bộ và biên. Bản cập nhật chủ yếu tập trung vào yêu cầu kéo #31157, điều chỉnh các tham số kiểm thử mà không làm thay đổi các tính năng suy luận cốt lõi. Các gói dựng sẵn được cung cấp cho macOS, Linux, Windows và Android trên nhiều nền tảng phần cứng khác nhau như CUDA, Vulkan và OpenVINO.
## KIẾN THỨC NỀN
Llama.cpp là một thư viện phần mềm mã nguồn mở do Georgi Gerganov tạo ra, cho phép thực hiện suy luận mô hình ngôn ngữ lớn một cách hiệu quả trên phần cứng phổ thông bằng ngôn ngữ C và C++. Thư viện này đóng vai trò là cơ sở hạ tầng nền tảng cho nhiều ứng dụng AI cục bộ và công cụ suy luận.