Phiên bản llama.cpp b10794 tái cấu trúc cờ SYCL MKL FlashAttention
llama.cpp đã phát hành bản dựng tự động b10794, mang đến một đợt tái cấu trúc mã nguồn nội bộ giúp chuyển đổi cờ GGML_SYCL_ENABLE_MKL_FA thành một biến toàn cục. Bản phát hành này đại diện cho một bản cập nhật bảo trì định kỳ cho backend SYCL thay vì bổ sung các tính năng dành cho người dùng cuối. Nó giúp tinh chỉnh cấu trúc mã nguồn nội bộ cho các nhà phát triển biên dịch llama.cpp với sự hỗ trợ tăng tốc từ Intel SYCL và OneMKL. Bản cập nhật tích hợp pull request #26863 nhằm vào việc triển khai FlashAttention trong cơ sở mã backend SYCL. Các tệp thực thi biên dịch sẵn đã được tạo trên các nền tảng mục tiêu tiêu chuẩn bao gồm Windows, Linux, macOS và Android.
## KIẾN THỨC NỀN
llama.cpp là một khung suy luận mô hình ngôn ngữ lớn (LLM) mã nguồn mở phổ biến được xây dựng trên thư viện GGML. SYCL là một mô hình lập trình C++ đa nền tảng cho phép thực thi tính toán dị thể trên các bộ tăng tốc phần cứng như GPU Intel. FlashAttention là một thuật toán được thiết kế để tăng tốc các phép toán Attention trong mạng thần kinh đồng thời giảm đáng kể lượng bộ nhớ tiêu thụ.