Nhà phát triển tạo nhánh llama.cpp tùy chỉnh hỗ trợ mở rộng chuyên gia MoE

Một nhà phát triển đã tạo một nhánh thử nghiệm tùy chỉnh của llama.cpp nhằm hỗ trợ tính năng mở rộng chuyên gia (expert expansion) cho các mô hình Mixture of Experts (MoE). Được xây dựng với sự hỗ trợ từ GLM 5.3 Flash, tính năng đã được thử nghiệm thành công trên framework Metal của Apple và hiện đang thu thập phản hồi từ cộng đồng trên các nền tảng phần cứng khác. Việc nâng cấp khả năng hỗ trợ MoE trong llama.cpp giúp người dùng LLM cục bộ chạy các mô hình chuyên biệt có số lượng tham số lớn hiệu quả hơn trên phần cứng cá nhân. Các nhánh thử nghiệm từ cộng đồng giúp đẩy nhanh tốc độ tích hợp tính năng và tối ưu hóa tốc độ suy luận trên nhiều nền tảng phần cứng khác nhau. Nhà phát triển cho biết nhánh tùy chỉnh này hoạt động tốt hơn rõ rệt trên Apple Metal so với phiên bản DS4 trước đó của họ. Tuy nhiên, dự án vẫn đang ở giai đoạn sơ khai và cần kiểm thử thêm trên các phần cứng ngoài Apple như GPU NVIDIA CUDA hay AMD ROCm, cũng như trên các kiến trúc mô hình MoE khác nhau.