Phiên bản llama.cpp b10767 cập nhật hỗ trợ ROCm lên 10.0.0
llama.cpp đã phát hành phiên bản b10767, cập nhật phụ thuộc nền tảng AMD ROCm lên phiên bản 10.0.0. Bản cập nhật cung cấp các tệp thực thi biên dịch sẵn cho nhiều hệ điều hành, bao gồm các gói Windows và Ubuntu dành riêng cho ROCm 10.0. Nâng cấp hỗ trợ ROCm giúp người dùng suy luận mô hình ngôn ngữ lớn (LLM) trên GPU AMD tiếp cận được các cải tiến mới nhất về hiệu năng và độ tương thích. Điều này thể hiện cam kết liên tục của llama.cpp trong việc hỗ trợ đa dạng các nền tảng tăng tốc phần cứng bên cạnh NVIDIA CUDA. Cùng với các bản dựng tiêu chuẩn cho CPU, CUDA, Vulkan, SYCL và OpenVINO, bản phát hành này bao gồm tệp nhị phân cho Windows và Ubuntu được biên dịch với ROCm 10.0. Đáng chú ý, tính năng KleidiAI trên macOS Apple Silicon và các bản dựng cho openEuler tiếp tục bị vô hiệu hóa trong bản vá này.
## KIẾN THỨC NỀN
llama.cpp là một thư viện C/C++ mã nguồn mở được thiết kế để chạy suy luận mô hình ngôn ngữ lớn (LLM) nhanh chóng và nhẹ nhàng trên nhiều kiến trúc phần cứng. AMD ROCm (Radeon Open Compute) là bộ phần mềm mã nguồn mở của AMD giúp thực hiện tính toán GPU hiệu năng cao và các tác vụ AI trên phần cứng của AMD.