Meta Phát Hành Muse Spark Open: Mô Hình Đa Phương Thức 816B Tham Số Mạnh Mẽ
Meta vừa phát hành Muse Spark Open, một mô hình mở đa phương thức với tổng cộng 816 tỷ tham số (trong đó có 42 tỷ tham số hoạt động theo kiến trúc Hỗn hợp chuyên gia) và cửa sổ ngữ cảnh 1 triệu token. Mô hình này được tối ưu hóa đặc biệt cho việc viết mã, các tác vụ tự hành và suy luận dài hạn trên các định dạng văn bản, hình ảnh, video và âm thanh. Là một trong những mô hình trọng số mở có năng lực cao nhất tính đến nay, Muse Spark Open đánh dấu một cột mốc quan trọng đối với sự phát triển của trí tuệ nhân tạo nguồn mở bằng cách cung cấp cho các nhà phát triển các tính năng cấp doanh nghiệp. Sự xuất hiện rộng rãi của mô hình trên nhiều công cụ suy luận và nền tảng phần cứng hàng đầu giúp trao quyền cho cộng đồng xây dựng các tác nhân tự hành tiên tiến và các công cụ kỹ thuật phần mềm phức tạp. Mô hình đi kèm với các kernel GPU Helion tùy chỉnh trong SGLang để cải thiện tốc độ đáng kể và hỗ trợ các nền tảng lớn bao gồm Apple Silicon thông qua MLX. Trọng số của mô hình được phát hành theo Giấy phép Mô hình Muse trên các nền tảng như Hugging Face, Amazon SageMaker AI và Google Cloud Model Garden.
## KIẾN THỨC NỀN
Hỗn hợp chuyên gia (MoE) là một kiến trúc học máy trong đó tổng số lượng tham số lớn được chia thành các 'chuyên gia' nhỏ hơn, nhưng chỉ một tập hợp con các chuyên gia này được kích hoạt cho mỗi token nhằm giảm chi phí tính toán. Các tham số hoạt động quyết định chi phí và tốc độ suy luận, trong khi tổng số tham số thể hiện năng lực tổng thể của mô hình trong việc lưu trữ thông tin phức tạp. Suy luận dài hạn đề cập đến khả năng của AI trong việc thực hiện lập kế hoạch nhiều bước và duy trì ra quyết định mạch lạc qua các tác vụ phức tạp, kéo dài mà không bị mất dấu mục tiêu dài hạn.