Mistral Phát Hành Mistral Large 4, Mô Hình MoE 1 Nghìn Tỷ Tham Số
Mistral AI đã phát hành Mistral Large 4, mô hình Mixture-of-Experts đa phương thức nguyên bản lớn nhất của hãng với khoảng 1 nghìn tỷ tham số tổng cộng và 49 tỷ tham số hoạt động trên mỗi token. Các bản lượng hóa GGUF đã xuất hiện trên Hugging Face cùng với việc tích hợp hỗ trợ trong llama.cpp. Bản phát hành này đánh dấu một cột mốc quan trọng đối với cộng đồng mã nguồn mở, cung cấp một mô hình đa năng cấp độ biên với độ dài ngữ cảnh 1 triệu, khả năng suy luận nâng cao và tính năng neo hình ảnh tiên tiến. Điều này cho phép các nhà phát triển và nhà nghiên cứu chạy các hệ thống đa phương thức mạnh mẽ cục bộ hoặc thông qua API. Mô hình này có kiến trúc Mixture-of-Experts chi tiết với 128 chuyên gia được định tuyến (4 chuyên gia hoạt động trên mỗi token) và 1 chuyên gia chung, được huấn luyện trên 3.800 GPU NVIDIA Grace Blackwell. Nó hỗ trợ cửa sổ ngữ cảnh 1M, xử lý nguyên bản hình ảnh có kích thước thay đổi, cung cấp mức độ suy luận có thể định cấu hình và được phân phối theo Giấy phép Mở-Trọng số Hệ sinh thái Mistral.
## KIẾN THỨC NỀN
Mixture-of-Experts (MoE) là một kiến trúc mạng nơ-ron trong đó tổng số lượng tham số lớn được chia thành các mạng con nhỏ hơn gọi là chuyên gia, nhưng chỉ một phần nhỏ trong số đó được kích hoạt cho mỗi token được xử lý nhằm duy trì tốc độ tính toán nhanh. GGUF là một định dạng tệp phổ biến do nhóm llama.cpp thiết kế để lưu trữ các mô hình ngôn ngữ được lượng hóa nhằm suy luận hiệu quả trên phần cứng người tiêu dùng và doanh nghiệp.