Bản phát hành llama.cpp b12496 bổ sung tối ưu hóa cho AMD GCN
Phiên bản b12496 giới thiệu việc tinh chỉnh thuật toán stream_k và cấu hình mmq nhằm kích hoạt thuật toán stream_k trên các kiến trúc AMD GCN. Bản cập nhật này cải thiện hiệu suất phần cứng cụ thể và khả năng tương thích khi chạy các mô hình ngôn ngữ lớn trên phần cứng đồ họa AMD cũ hơn thông qua ggml-cuda/HIP. Bản cập nhật bao gồm việc dọn dẹp mã nguồn GCN đi kèm với việc bật stream_k, trong khi các thử nghiệm trên kiến trúc CDNA không mang lại cải tiến nên đã được loại bỏ.
## KIẾN THỨC NỀN
llama.cpp là một framework phổ biến giúp chạy các mô hình ngôn ngữ lớn cục bộ trên nhiều thiết bị phần cứng khác nhau bằng định dạng GGML. AMD GCN (Graphics Core Next) là một kiến trúc tập lệnh GPU cũ hơn do AMD phát triển cho các card đồ họa và bộ vi xử lý tích hợp của họ.