llama.cpp Phát Hành Bản b11540 Bổ Sung Tăng Tốc SYCL Cho Mô Hình MoE Dạng MXFP4

Phiên bản llama.cpp b11540 giới thiệu tính năng tăng tốc phần cứng cho các mô hình Mixture-of-Experts (MoE) dạng MXFP4 trên backend SYCL thông qua PR #29809. Cập nhật này cải thiện hiệu năng bằng cách áp dụng các kỹ thuật giải mã số học (arithmetic decoding) và sắp xếp lại trọng số (weight reordering). Cải tiến này cho phép suy luận nhanh hơn đối với các mô hình MoE 4-bit độ chính xác thấp trên phần cứng đa dạng được SYCL hỗ trợ, bao gồm cả GPU Intel. Khi các định dạng microscaling như MXFP4 trở thành tiêu chuẩn cho các mô hình AI lớn, các kernel xử lý tối ưu là yếu tố cốt lõi để đạt độ trễ thấp. Tối ưu hóa này tập trung đặc biệt vào các lớp MoE được lượng hóa MXFP4 trong luồng xử lý tính toán của SYCL. Các bản đóng gói sẵn (pre-built binaries) của b11540 hỗ trợ nhiều nền tảng từ macOS, Linux, Windows cho đến Android và Snapdragon.