Chạy mô hình MoE 80B trong Chrome qua WebGPU của llama.cpp
Một lập trình viên đã chạy thành công mô hình Mixture-of-Experts 80B (Qwen3-Next) bên trong một tab trình duyệt Chrome sử dụng backend WebGPU của llama.cpp bằng cách nạp động các chuyên gia (experts) từ ổ đĩa cục bộ. Bước đột phá này chứng minh rằng các mô hình ngôn ngữ lớn vượt quá dung lượng VRAM hiện có có thể chạy cục bộ bên trong một trình duyệt web tiêu chuẩn mà không cần ứng dụng gốc chuyên dụng, qua đó đẩy mạnh giới hạn của AI biên. Hệ thống lưu trữ mô hình GGUF trong bộ nhớ OPFS của trình duyệt, giữ các lớp đặc (dense layers) và một số lượng cố định các khe chuyên gia trong bộ nhớ GPU đồng thời tải các chuyên gia bị thiếu theo yêu cầu vào một khe bộ nhớ đệm LRU.
## KIẾN THỨC NỀN
Mixture of Experts (MoE) là kiến trúc mạng nơ-ron trong đó chỉ một tập hợp con các tham số mạng hoặc các chuyên gia được kích hoạt cho mỗi token, giúp chạy các mô hình lớn một cách hiệu quả. GGUF là định dạng tệp nhị phân được thiết kế riêng để lưu trữ trọng số mạng nơ-ron lượng tử hóa cùng với siêu dữ liệu nhằm hỗ trợ suy luận cục bộ hiệu quả.