ggerganov/llama.cpp phát hành phiên bản b12001 hỗ trợ ROCm RDNA4_M
Bản phát hành b12001 của llama.cpp bổ sung hỗ trợ ROCm/HIP cho dòng phần cứng đồ họa RDNA4_M mới của AMD. Cụ thể, bản cập nhật này thêm các định nghĩa và cấu hình cho các kiến trúc phần cứng gfx1170 và gfx1171. Bản phát hành này mở rộng khả năng chạy AI cục bộ sang các kiến trúc GPU mới hơn của AMD, đảm bảo người dùng sở hữu phần cứng mới nhất có thể chạy các mô hình ngôn ngữ lớn một cách hiệu quả. Điều này giúp duy trì khả năng tương thích phần cứng rộng rãi trong bối cảnh hệ sinh thái GPU phát triển nhanh chóng. Bản cập nhật điều chỉnh các định nghĩa kiến trúc để phù hợp với các đặc tính riêng của dòng chip gfx117X, chẳng hạn như các lệnh WMMA 128b, tách biệt chúng khỏi các triển khai RDNA4 tiêu chuẩn. Bản cập nhật này bao gồm sự đóng góp từ các nhà phát triển và đại diện AMD như Mario Limonciello.
## KIẾN THỨC NỀN
llama.cpp là một thư viện phần mềm mã nguồn mở phổ biến được thiết kế để suy luận mô hình ngôn ngữ lớn hiệu quả trên nhiều nền tảng phần cứng khác nhau, được đồng phát triển cùng thư viện tensor GGML. ROCm là nền tảng phần mềm mã nguồn mở của AMD dành cho điện toán hiệu năng cao và học máy được tăng tốc bằng GPU.