Phiên bản llama.cpp b12129 bật lại tính năng ma trận hợp tác Vulkan trên AMD
Bản phát hành llama.cpp b12129 kích hoạt lại cấu hình nhân ma trận hợp tác (coopmat) lớn cho phép nhân ma trận trên các trình điều khiển độc quyền của AMD phiên bản 26.10.1 trở lên thông qua Vulkan. Thay đổi này giải quyết các đường dẫn thực thi dành riêng cho phần cứng nhằm khôi phục hiệu suất tối ưu trên các thiết lập AMD tương thích. Bản cập nhật này đảm bảo khả năng tương thích và hiệu suất tốt hơn cho người dùng chạy các mô hình ngôn ngữ lớn cục bộ trên phần cứng AMD bằng cách sử dụng phần phụ trợ Vulkan. Nó làm nổi bật sự cải tiến liên tục cần thiết để duy trì khả năng tăng tốc phần cứng đa nền tảng trong các môi trường chạy AI phổ biến. Bản sửa lỗi được theo dõi cụ thể trong yêu cầu kéo (pull request) #31587 và nhắm mục tiêu vào lớp triển khai Vulkan của llama.cpp. Nó ảnh hưởng đến những người dùng sử dụng trình điều khiển độc quyền của AMD thay vì các giải pháp thay thế mã nguồn mở để thực hiện các phép nhân ma trận.
## KIẾN THỨC NỀN
Llama.cpp là một thư viện phần mềm mã nguồn mở được sử dụng rộng rãi, được thiết kế để chạy các mô hình ngôn ngữ lớn một cách hiệu quả với cấu hình tối thiểu trên các bộ tăng tốc phần cứng khác nhau. Vulkan là một API đồ họa và tính toán đa nền tảng cho phép các nhà phát triển tận dụng khả năng tăng tốc GPU hiệu suất cao, trong khi các tính năng ma trận hợp tác cho phép các nhóm luồng thực hiện các phép toán ma trận nặng một cách phối hợp.