llama.cpp Phiên bản b11979 Cải thiện Hiệu suất SYCL với Bố cục Véc-tơ hóa

Phiên bản b11979 của llama.cpp giới thiệu các thao tác lưu giải lượng tử hóa bố cục sắp xếp lại được véc-tơ hóa cho SYCL trên nhiều định dạng lượng tử hóa khác nhau bao gồm Q4_0, K-quants, IQ3 và MXFP4. Bản cập nhật này đạt được tốc độ xử lý tiền điền (prefill) tăng đáng kể, ví dụ như mức tăng 28.7% trên các mô hình Q6_K khi sử dụng GPU Arc Pro B70. Những tối ưu hóa này giúp tăng tốc đáng kể thời gian xử lý câu lệnh cho người dùng chạy các mô hình ngôn ngữ lớn trên phần cứng của Intel và các phần cứng khác sử dụng nền tảng SYCL. Những cải tiến hiệu suất chuyên biệt cho phần cứng này giúp việc chạy AI cục bộ trở nên nhanh hơn và hiệu quả hơn trên nhiều loại bộ tăng tốc. Các thay đổi này chuyển đổi nhiều lệnh lưu giải lượng tử hóa dạng vô hướng khác nhau thành các lệnh lưu véc-tơ vec<dst_t,4> đã căn chỉnh, đồng thời giữ nguyên độ phức tạp (perplexity) và kết quả của mô hình giống hệt từng bit. Các bài kiểm tra chuẩn trên Arc Pro B70 cho thấy hiệu suất tiền điền đã được cải thiện từ +3.6% đối với mô hình Q5_K lên tới +28.7% đối với mô hình Q6_K.