ggerganov/llama.cpp phát hành bản build b11912 hỗ trợ MoE và Laguna
Bản phát hành llama.cpp b11912 giới thiệu tính năng hỗ trợ co giãn amax cho Mixture of Experts (MoE) và khai báo hỗ trợ tensor Laguna SM. Các cập nhật này cải thiện cách các kiến trúc mô hình ngôn ngữ lớn cụ thể xử lý các phép toán tensor và việc co giãn. Cập nhật này nâng cao khả năng của framework trong việc chạy hiệu quả các mô hình Mixture of Experts tiên tiến như kiến trúc Laguna của Poolside trên phần cứng phổ thông và doanh nghiệp. Những cải tiến như vậy đảm bảo khả năng tương thích và hiệu suất tốt hơn cho các mô hình mã nguồn mở phức tạp mới. Bản phát hành bao gồm các tệp nhị phân được biên dịch sẵn trên nhiều nền tảng—bao gồm macOS, Linux, Windows và Android—hỗ trợ các backend đa dạng như CPU, CUDA, Vulkan và Snapdragon NPU. Việc triển khai co giãn amax cho MoE có sự hỗ trợ từ Devin (#31147).
## KIẾN THỨC NỀN
Mixture of Experts (MoE) là kiến trúc mạng nơ-ron trong đó các mạng con khác nhau (chuyên gia) xử lý các tập dữ liệu khác nhau, giúp cải thiện hiệu suất so với một tầng dày đặc duy nhất. llama.cpp là một framework mã nguồn mở phổ biến được thiết kế để chạy các mô hình ngôn ngữ lớn trên thiết bị cục bộ với mức tiêu thụ tài nguyên tối thiểu trên nhiều backend phần cứng khác nhau.