ggerganov/llama.cpp Phát Hành b11752 Sửa Lỗi Kiểm Tra Bộ Định Tuyến MoE
Phiên bản phát hành b11752 của llama.cpp giới thiệu một bản sửa lỗi nhằm giúp việc lựa chọn bộ định tuyến Mixture of Experts (MoE) độc lập với nhiễu của backend, đảm bảo kết quả đầu ra nhất quán giữa các backend phần cứng khác nhau. Ngoài ra, phiên bản này còn cập nhật bảng thiết bị để phân biệt chính xác giữa CPU chủ Apple Silicon và backend GPU Metal tương ứng của chúng. Bản cập nhật này cải thiện độ tin cậy và độ chính xác của quá trình kiểm thử hồi quy đối với các kiến trúc tiên tiến như DeepSeek-V2 và Beam bằng cách loại bỏ các lỗi kiểm thử dương tính giả do sự khác biệt nhỏ về dấu phẩy động của phần cứng gây ra. Việc đảm bảo kiểm thử mạnh mẽ là rất quan trọng để duy trì hiệu suất cao và tính nhất quán trên nhiều nền tảng trong các công cụ suy luận LLM mã nguồn mở. Bản vá bổ sung độ chệch lựa chọn (selection bias) bằng một đoạn dốc bước 2, cung cấp cho mỗi chuyên gia (expert) một dải điểm số riêng và ngăn chặn hiện tượng trùng lặp nhỏ ở backend trong các lựa chọn top-k. Hơn nữa, các xung đột về mô tả thiết bị trên Apple SoC đã được giải quyết bằng cách đính kèm tên thiết bị rõ ràng vào các bảng theo dõi kiểm thử.
## KIẾN THỨC NỀN
Mixture of Experts (MoE) là một kiến trúc mạng thần kinh trong đó chỉ một tập hợp con các mạng phụ, gọi là các chuyên gia (experts), được kích hoạt cho mỗi token thông qua cơ chế định tuyến, giúp nâng cao năng lực của mô hình một cách hiệu quả. Llama.cpp là một framework phổ biến được thiết kế để chạy các mô hình ngôn ngữ lớn cục bộ trên nhiều phần cứng phổ dùng khác nhau, phụ thuộc rất nhiều vào các bài kiểm thử tự động để xác minh tính tương đương toán học trên các backend CPU và GPU khác nhau.