Phiên bản llama.cpp b12314 bổ sung Flash Attention phân rã cho GPU Adreno
Phiên bản llama.cpp b12314 giới thiệu các tối ưu hóa Flash Attention (FA) phân rã và cải tiến kernel cho OpenCL trên GPU Adreno. Bản cập nhật này mở rộng hỗ trợ cho các kích thước đầu (head) và kích thước lô (batch) nhỏ hơn, đồng thời tối ưu hóa các thao tác đọc và ghi bộ nhớ. Bản phát hành này cải thiện đáng kể hiệu suất và hiệu năng khi chạy các mô hình ngôn ngữ lớn trên các thiết bị di động và thiết bị biên được trang bị GPU Qualcomm Adreno. Nó nâng cao khả năng AI cục bộ bằng cách giảm chi phí bộ nhớ trong quá trình thực thi cơ chế chú ý (attention). Bản cập nhật hạ ngưỡng kích thước đầu mặc định từ 256 xuống 128 trên X2E, bổ sung hỗ trợ lệnh dp4a cho phép nhân ma trận PV, và kích hoạt trực tiếp PV theo mặc định để tránh việc chuyển vị ma trận V đối với các lô nhỏ.
## KIẾN THỨC NỀN
llama.cpp là một thư viện mã nguồn mở cho phép suy luận hiệu quả các mô hình ngôn ngữ lớn như Llama bằng C và C++. Flash Attention là một thuật toán được thiết kế để tăng tốc cơ chế chú ý trong mô hình transformer và giảm mức sử dụng bộ nhớ bằng cách sử dụng kỹ thuật chia ô (tiling) nhằm giảm thiểu việc đọc và ghi vào bộ nhớ thiết bị chậm.