Bản phát hành llama.cpp b10576 khôi phục các tối ưu hóa SYCL cho GPU Intel
Dự án llama.cpp đã phát hành phiên bản b10576, khôi phục các tối ưu hóa SYCL bao gồm MMVQ sắp xếp lại Q2_K và các kernel ESIMD. Bản cập nhật này đảo ngược một commit trước đó vốn đã tạm thời loại bỏ các tối ưu hóa này. Bản phát hành này cải thiện hiệu suất và khả năng tăng tốc phần cứng cho người dùng chạy các mô hình ngôn ngữ lớn trên GPU Intel. Bằng cách tận dụng SYCL và ESIMD, các nhà phát triển có thể đạt được khả năng vector hóa và kiểm soát bộ nhớ tốt hơn trên kiến trúc phần cứng của Intel. Bản cập nhật này bổ sung cụ thể các tham số cổng (gate parameters) và khôi phục các mẫu kernel dựa trên ESIMD, vốn được thiết kế để tối ưu hóa việc sử dụng thanh ghi và xử lý phân kỳ luồng trên các thiết bị GPU Intel.
## KIẾN THỨC NỀN
llama.cpp là một kho lưu trữ mã nguồn mở phổ biến để chạy suy luận LLM với thiết lập tối thiểu. SYCL là một mô hình lập trình tiêu chuẩn mở dựa trên C++ để tăng tốc phần cứng hỗn hợp. ESIMD (Explicit SIMD) là một phần mở rộng riêng của Intel cho phép các nhà phát triển viết mã kernel GPU được vector hóa rõ ràng để kiểm soát phần cứng chính xác hơn.