ggerganov/llama.cpp Phát Hành b11702 Hỗ Trợ OpenCL MxFP4 MoE
Bản phát hành b11702 của llama.cpp giới thiệu một kernel nhị phân MxFP4 MoE mới được tối ưu hóa thông qua OpenCL dành riêng cho các thiết bị phần cứng Qualcomm Adreno X1. Bản cập nhật này do các kỹ sư của Qualcomm đóng góp nhằm nâng cao hiệu suất AI biên trên các nền tảng được hỗ trợ. Tính năng bổ sung này cho phép thực thi hiệu quả các mô hình Mixture-of-Experts độ chính xác thấp trên phần cứng Qualcomm phổ thông, qua đó mở rộng phạm vi ứng dụng của AI biên. Nó kết hợp các kỹ thuật lượng tử hóa mô hình tiên tiến với các kiến trúc đồ họa di động và máy tính phổ biến. Bản cập nhật này cụ thể bổ sung kernel nhị phân có tên gemm_moe_mxfp4_q8_1_dp4a_ila_ldck cho các thiết bị X1 và kích hoạt hỗ trợ dp4a clc cho Snapdragon X1E. Do Li He từ Qualcomm đồng tác giả, bản cập nhật hướng tới việc tăng tốc phần cứng cho các phép nhân ma trận độ chính xác thấp.
## KIẾN THỨC NỀN
MxFP4 đề cập đến định dạng dữ liệu dấu phẩy động tỷ lệ vi mô 4-bit được thiết kế cho các khối lượng công việc AI hiệu quả thông qua việc lượng tử hóa khối và các hệ số tỷ lệ chung. Mixture of Experts (MoE) là một kiến trúc mạng thần kinh chỉ kích hoạt một tập hợp con các tham số cho mỗi đầu vào để mở rộng dung lượng mô hình một cách hiệu quả, mặc dù nó đòi hỏi các kỹ thuật nén chuyên biệt do chi phí bộ nhớ cao.