llama.cpp b10969 Tự Động Hóa Quy Trình Đóng Gói Binary Ubuntu CUDA
Phiên bản b10969 của llama.cpp cập nhật quy trình phát hành GitHub Actions để tự động tạo ra các bản dựng binary đóng gói sẵn trên Ubuntu hỗ trợ CUDA. Các bản dựng tự động này bao gồm cấu hình CUDA 12.8 và 13.3 cho cả hai kiến trúc x64 và arm64. Thay đổi này giúp đơn giản hóa việc triển khai cho người dùng Linux sử dụng GPU NVIDIA bằng cách cung cấp các bản dựng binary CUDA sẵn sàng sử dụng ngay trong các bản phát hành chính thức. Điều này loại bỏ yêu cầu người dùng phải tự biên dịch llama.cpp từ mã nguồn để sử dụng tăng tốc CUDA trên Ubuntu. Bản cập nhật phát hành cấu hình GCC 14 cho các bản dựng CUDA arm64 và đóng gói các thư viện phụ thuộc thực thi như `cudart` cùng với tệp binary phát hành. Ngoài ra, việc hỗ trợ NCCL (NVIDIA Collective Communications Library) đã tạm thời bị loại bỏ khỏi pull request này để chờ xác nhận bản quyền.
## KIẾN THỨC NỀN
llama.cpp là một khung mã nguồn mở bằng C/C++ được thiết kế để chạy suy luận LLM hiệu năng cao trên nhiều nền tảng phần cứng. CUDA là nền tảng tính toán song song của NVIDIA giúp tăng tốc các tác vụ AI nặng trên GPU NVIDIA. Việc cung cấp các bản dựng binary phát hành được biên dịch sẵn qua quy trình CI cho phép người dùng chạy ngay các tệp thực thi đã tối ưu mà không cần tự cấu hình bộ công cụ biên dịch cục bộ.