ggerganov/llama.cpp Phát Hành Phiên Bản b11759 Hỗ Trợ Flash Attention Cho ggml-zdnn
Phiên bản b11759 của llama.cpp giới thiệu thao tác flash attention cho backend ggml-zdnn. Bản cập nhật này cũng bổ sung bộ nhớ đệm dạng scratch buffer pool nhằm cải thiện khả năng quản lý bộ nhớ cho kiến trúc IBM. Bản cập nhật này giúp cải thiện hiệu suất và tốc độ suy luận trên các môi trường phần cứng chuyên biệt của IBM. Nó giúp mở rộng hệ sinh thái tăng tốc phần cứng được hỗ trợ bởi thư viện. Việc triển khai mang đến thuật toán flash attention (fattn) và loại bỏ các ô nhớ tạm (scratch slots) để chuyển sang dùng một vùng nhớ đệm chung (scratch buffer pool). Đóng góp này được thực hiện bởi Aaron Teo từ IBM.
## KIẾN THỨC NỀN
llama.cpp là một thư viện mã nguồn mở chuyên thực hiện suy luận cho các mô hình ngôn ngữ lớn một cách cục bộ thông qua thư viện tensor GGML. FlashAttention là một thuật toán giúp tăng tốc cơ chế chú ý (attention) trong kiến trúc transformer bằng cách giảm thiểu các thao tác đọc và ghi nhớ bộ nhớ giữa các tầng khác nhau của phần cứng.