~/LARGE LANGUA/maxwell-v1-flash-a-35b-mixture-of-experts-model-with-256k-context

Maxwell-V1-Flash: Mô hình Mixture-of-Experts 35B hỗ trợ ngữ cảnh 256K

Nhóm Maxwell đã phát hành Maxwell-V1-Flash, một ngôn ngữ hình thức Mixture-of-Experts (MoE) 35B tham số với 3B tham số hoạt động trên mỗi token và hỗ trợ độ dài ngữ cảnh lên tới 256K token. Mô hình này giới thiệu các cải tiến kiến trúc bao gồm Maxwell Block Sparse Attention và Manifold-Constrained Hyper-Connections. Bản phát hành này cung cấp cho cộng đồng AI cục bộ một mô hình trọng số mở hiệu suất cao, tiết kiệm chi phí, có khả năng lập luận nâng cao, tác vụ tác tử (agentic) và xử lý ngữ cảnh siêu dài. Bằng cách tích hợp các kỹ thuật chú ý thưa thớt và định tuyến đa luồng tiên tiến, mô hình thiết lập một chuẩn mực mới về hiệu quả thực tế trong kiến trúc LLM hiện đại. Mô hình sử dụng Maxwell Block Sparse Attention để giới hạn phần chú ý chính ở mức 4.096 token cho mỗi nhóm KV — đạt tốc độ nhanh hơn 6.7 lần so với GQA dày đặc ở ngữ cảnh 256K — và dựa vào Manifold-Constrained Hyper-Connections để mở rộng luồng thông tin mà không làm tăng thêm chi phí chú ý.

## KIẾN THỨC NỀN

Mixture-of-Experts (MoE) là một thiết kế kiến trúc transformer trong đó chỉ một tập hợp con thưa thớt các tham số mạng thần kinh (các chuyên gia) được kích hoạt cho mỗi token đầu vào, cho phép mô hình mở rộng tổng dung lượng trong khi vẫn giữ chi phí suy luận ở mức thấp. Manifold-Constrained Hyper-Connections (mHC) là một framework học máy gần đây mở rộng các kết nối dư bằng cách chiếu không gian siêu kết nối lên một đa tạp cụ thể để khôi phục các tính chất ánh xạ danh tính.

## TÀI LIỆU THAM KHẢO

## TỪ KHÓA

#Large Language Models#Mixture of Experts#Model Release#Long Context#AI Architecture

$ subscribe --daily

Maxwell-V1-Flash: Mô hình Mixture-of-Experts 35B hỗ trợ ngữ cảnh 256K | Daily News