ggerganov/llama.cpp Phát Hành Bản Xây Dựng b12040
Dự án llama.cpp đã phát hành bản xây dựng b12040, bao gồm các bản cập nhật thử nghiệm thông thường và các gói phân phối mã máy nhị phân đa nền tảng cho nhiều hệ điều hành và kiến trúc khác nhau. Bản phát hành này tích hợp các cải tiến mã nguồn nội bộ, cụ thể là gộp các nhánh lệnh if giống hệt nhau trong bộ kiểm thử. Là một bản phát hành bảo trì thông thường, nó đảm bảo tính ổn định, vệ sinh mã nguồn liên tục và khả năng tương thích phần cứng rộng rãi cho các nhà phát triển chạy mô hình ngôn ngữ lớn cục bộ. Việc bảo trì liên tục này hỗ trợ hệ sinh thái rộng lớn hơn gồm các công cụ suy luận cục bộ dựa vào llama.cpp làm cỗ máy cốt lõi. Bản xây dựng b12040 cung cấp các tệp nhị phân biên dịch sẵn trên nhiều nền tảng bao gồm macOS, Linux, Android và Windows, hỗ trợ các phần cứng tăng tốc khác nhau như CPU, CUDA, Vulkan và OpenVINO. Thay đổi mã nguồn cụ thể được nêu bật trong bản phát hành này là yêu cầu kéo #31523, tập trung vào việc dọn dẹp logic kiểm thử.
## KIẾN THỨC NỀN
llama.cpp là một thư viện phần mềm mã nguồn mở do Georgi Gerganov tạo ra nhằm thực hiện suy luận hiệu quả trên các mô hình ngôn ngữ lớn bằng ngôn ngữ C và C++. Thư viện này hoạt động cùng với thư viện tensor GGML và sử dụng định dạng tệp GGUF, đóng vai trò là tiêu chuẩn thực tế để chạy các mô hình AI lượng tử hóa cục bộ trên phần cứng phổ thông.