ggerganov/llama.cpp phát hành phiên bản b12444 cập nhật HIP/CUDA cho CDNA
Bản phát hành llama.cpp b12444 giới thiệu bản cập nhật HIP/CUDA giúp kích hoạt kernel GDN mma trên kiến trúc CDNA. Bản cập nhật này mang lại các cải tiến tối ưu hóa phần cứng cụ thể cho các dòng card gia tốc được hỗ trợ. Bản phát hành này cải thiện hiệu suất và hiệu quả thực thi khi chạy các mô hình ngôn ngữ lớn cục bộ trên các kiến trúc phần cứng cụ thể. Nó mở rộng khả năng tương thích phần cứng và tối ưu hóa cho người dùng sử dụng bộ gia tốc AMD CDNA thông qua HIP. Yêu cầu kéo #31327 nhắm mục tiêu cụ thể vào việc tích hợp kernel GDN mma trong lớp HIP/CUDA dành cho các thiết bị kiến trúc CDNA. Bản phát hành đóng gói các tệp nhị phân trên nhiều môi trường khác nhau, bao gồm nhiều phiên bản CUDA và ROCm.
## KIẾN THỨC NỀN
llama.cpp là một dự án phần mềm mã nguồn mở cho phép suy luận cục bộ các mô hình ngôn ngữ lớn một cách hiệu quả với các phụ thuộc tối thiểu trên nhiều loại phần cứng khác nhau. HIP là một API thời gian chạy C++ và ngôn ngữ kernel cho phép các nhà phát triển tạo các ứng dụng có tính di động cao cho GPU của AMD và NVIDIA.