ggerganov/llama.cpp Phát Hành Phiên Bản b11953 Hỗ Trợ Tích Hợp CUDA MoE
Bản phát hành b11953 của llama.cpp giới thiệu tính năng tích hợp CUDA top-k Mixture of Experts (MoE) được tối ưu hóa cho 384 chuyên gia (experts), đi kèm với các bản phân phối nhị phân đa nền tảng tiêu chuẩn. Phiên bản này cũng bao gồm các gói biên dịch sẵn trên nhiều backend khác nhau như Vulkan, OpenVINO và ROCm cho các hệ điều hành lớn. Tối ưu hóa hiệu suất này giúp tăng tốc đáng kể việc thực thi các mô hình ngôn ngữ lớn theo kiến trúc Mixture of Experts trên GPU của NVIDIA. Điều này giúp các nhà thực hành AI chạy các mô hình đa chuyên gia phức tạp một cách hiệu quả hơn và giảm độ trễ. Điểm bổ sung kỹ thuật chính là pull request #31288, mang lại hỗ trợ CUDA cho tính năng tích hợp top-k MoE được thiết kế riêng cho các kiến trúc có 384 chuyên gia. Kho mã nguồn tiếp tục cung cấp nhiều gói nhị phân được xây dựng sẵn cho môi trường macOS, Linux, Windows và Android.
## KIẾN THỨC NỀN
llama.cpp là một thư viện mã nguồn mở phổ biến cho phép chạy các mô hình ngôn ngữ lớn nội bộ trên phần cứng phổ thông thông qua thư viện tensor GGML. Mixture of Experts (MoE) là một kỹ thuật học máy trong đó chỉ một tập hợp con các mạng con (hoặc 'chuyên gia') được kích hoạt cho mỗi token nhằm nâng cao hiệu suất.