Bản phát hành llama.cpp b11821 tối ưu hóa các công cụ ma trận Intel XMX qua SYCL
Bản phát hành llama.cpp b11821 tái cấu trúc hỗ trợ đa cột cho các công cụ ma trận Intel XMX trên backend SYCL. Bản cập nhật này bổ sung các kernel hợp nhất (fused kernels) và tối ưu hóa cho quá trình xác thực giải mã dự đoán (speculative decoding) cùng các lô prompt ngắn. Bản cập nhật này cải thiện đáng kể hiệu suất suy luận và khả năng tăng tốc phần cứng trên GPU Intel đối với các tác vụ nâng cao như giải mã dự đoán. Điều này mang lại lợi ích cho người dùng chạy các mô hình ngôn ngữ lớn trên phần cứng Intel bằng cách tăng tốc độ sinh token. Bản phát hành bổ sung một kernel cổng/tăng (gate/up kernel) hợp nhất để tính toán trọng số mạng chuyển tiếp (feed-forward network) hiệu quả hơn và bao gồm hai biến môi trường mới để kiểm soát số cột tối đa. Trên phần cứng B70, hiệu suất cho Q4_K_M đã cải thiện 5.9% để đạt 28.23 token mỗi giây.
## KIẾN THỨC NỀN
llama.cpp là một thư viện phần mềm mã nguồn mở phổ biến được thiết kế để chạy các mô hình ngôn ngữ lớn một cách hiệu quả trên nhiều nền tảng phần cứng khác nhau. SYCL là một mô hình lập trình đa nền tảng cho phép các nhà phát triển chạy mã trên các bộ tăng tốc không đồng nhất như GPU Intel, trong khi Intel XMX đề cập đến các đơn vị mở rộng ma trận phần cứng được tích hợp trong kiến trúc đồ họa Intel nhằm tăng tốc các tính toán AI.