ggerganov/llama.cpp Phát Hành Bản Xây Dựng b11867 Cùng Cải Tiến Máy Chủ
Thư viện llama.cpp đã phát hành bản dựng b11867, nổi bật với việc tái cấu trúc điểm vào của máy chủ cùng các gói phân phối nhị phân đa nền tảng cho nhiều hệ điều hành và phần cứng khác nhau. Bản cập nhật này mang đến việc bảo trì tiêu chuẩn và các cải tiến gia tăng cho thư viện suy luận LLM cục bộ được sử dụng rộng rãi, giúp tổ chức mã tốt hơn và đảm bảo khả năng tương thích phần cứng rộng rãi. Bản phát hành bao gồm các tệp nhị phân được biên dịch sẵn cho macOS, Linux, Windows và Android, hỗ trợ nhiều nền tảng phần cứng và tăng tốc khác nhau như CUDA, Vulkan, OpenVINO và kiến trúc Snapdragon.
## KIẾN THỨC NỀN
llama.cpp là một thư viện mã nguồn mở cho phép thực thi và chạy suy luận các mô hình ngôn ngữ lớn một cách hiệu quả ngay trên phần cứng cá nhân. Thư viện này được phát triển song song với GGML và đóng vai trò là cơ sở hạ tầng cốt lõi cho nhiều công cụ AI cục bộ phổ biến.