llama.cpp Phiên bản b11645 Thêm Kernel Flash Attention BF16 cho Metal
Phiên bản llama.cpp b11645 giới thiệu biến thể BF16 (bfloat16) của kernel flash attention thuộc tensor API được thiết kế riêng cho Metal trên Apple Silicon. Ngoài ra, bản cập nhật này còn tổ chức lại các kernel flash attention của tensor bằng cách chuyển chúng vào một đường dẫn tệp chuyên biệt. Bản cập nhật này cải thiện hiệu suất suy luận và hiệu quả sử dụng bộ nhớ cho các mô hình ngôn ngữ lớn chạy trên phần cứng Apple Silicon thông qua framework Metal của Apple. Điều này mang lại lợi ích cho người dùng dựa vào các công cụ triển khai LLM cục bộ được xây dựng dựa trên nền tảng llama.cpp. Bản cập nhật bổ sung kernel flash attention tensor API định dạng BF16 mới và tái cấu trúc mã nguồn bằng cách di chuyển các kernel FA tensor sang tệp 'kernels/fa_tensor.metal'. Đây là một phần trong các bản cập nhật gia tăng liên tục nhằm tối ưu hóa các đường dẫn thực thi cấp thấp trên nhiều nền tảng phần cứng khác nhau.
## KIẾN THỨC NỀN
llama.cpp là một thư viện mã nguồn mở phổ biến cho phép suy luận hiệu quả các mô hình ngôn ngữ lớn bằng ngôn ngữ C và C++, đóng vai trò là cốt lõi cho nhiều công cụ AI chạy cục bộ. Flash attention là một thuật toán được thiết kế nhằm tăng tốc cơ chế chú ý trong các mô hình transformer và giảm mức sử dụng bộ nhớ bằng cách tránh các thao tác đọc ghi bộ nhớ không cần thiết.