ggerganov/llama.cpp Phát Hành Bản Xây Dựng b12270
Dự án llama.cpp đã phát hành bản dựng b12270, giới thiệu các bài kiểm tra độ chính xác và tính năng kiểm soát (gating) cho phép nhân ma trận (MUL_MAT src1) bên cạnh các tệp nhị phân được biên dịch sẵn tiêu chuẩn. Bản cập nhật này bao gồm các gói tài nguyên bản dựng tự động cho các nền tảng phần cứng lớn như macOS, Linux, Windows và Android. Các bản cập nhật định kỳ như b12270 đảm bảo tính ổn định liên tục, cải tiến tích hợp liên tục và độ chính xác số tốt hơn để chạy các mô hình ngôn ngữ lớn cục bộ trên các phần cứng đa dạng. Những cải tiến gia tăng này giữ cho framework luôn vững chắc với tư cách là tiêu chuẩn thực tế cho các công cụ suy luận AI cục bộ. Bản cập nhật cụ thể triển khai yêu cầu kéo (pull request) #31896, bổ sung cơ chế kiểm tra độ chính xác và kiểm soát nhắm mục tiêu riêng vào nguồn thứ hai của các phép toán nhân ma trận trong backend GGML. Các gói biên dịch sẵn bao gồm nhiều backend phần cứng khác nhau như CUDA, Vulkan, SYCL, OpenVINO và các kiến trúc di động.
## KIẾN THỨC NỀN
llama.cpp là một thư viện phần mềm mã nguồn mở được sử dụng rộng rãi, đồng phát triển với thư viện tensor GGML, được thiết kế để thực hiện suy luận học máy hiệu quả trên phần cứng thông thường. Thư viện này cho phép người dùng chạy các mô hình ngôn ngữ lớn cục bộ mà không cần cơ sở hạ tầng đám mây quy mô lớn.