Reflection AI Ra Mắt Beam, Mô Hình MoE Trọng Số Mở 501 Tỷ Tham Số
Reflection AI đã ra mắt Beam, một mô hình AI hỗn hợp chuyên gia thưa (MoE) trọng số mở có tổng cộng 501 tỷ tham số và 23 tỷ tham số kích hoạt cho mỗi token. Được đăng tải trên bản tin AI News của Latent Space, Beam được thiết kế đặc biệt cho các tác vụ lập trình, suy luận và đại lý AI (agentic workloads). Beam đại diện cho một bước tiến đáng chú ý của hệ sinh thái AI mã nguồn mở tại Mỹ, cung cấp cho các nhà phát triển bộ trọng số mở mạnh mẽ để xây dựng các hệ thống đại lý AI phức tạp. Bằng cách kết hợp dung lượng mô hình lớn với lượng tham số kích hoạt hiệu quả, Beam giúp giảm sự phụ thuộc vào các API mô hình mã nguồn đóng độc quyền. Mô hình sử dụng kiến trúc hỗn hợp chuyên gia thưa (501B-A23B), cho phép duy trì chi phí suy luận ở mức hợp lý bằng cách chỉ điều hướng mỗi token đến 23 tỷ tham số trong tổng số 501 tỷ tham số. Đây là một mô hình chỉ xử lý văn bản, được tối ưu hóa cho các nhiệm vụ tạo mã lập trình phức tạp, suy luận lô-gích và thực thi đa bước tự động.
## KIẾN THỨC NỀN
Kiến trúc hỗn hợp chuyên gia (Mixture-of-Experts - MoE) phân chia dung lượng của mô hình thành các mạng con chuyên biệt ('chuyên gia') và điều hướng mỗi token đến một phần nhỏ tổng số tham số, giúp đạt hiệu suất cao với tốc độ xử lý nhanh hơn. Các mô hình trọng số mở (open-weight models) cho phép nhà phát triển truy cập hoàn toàn vào tham số mô hình để tự triển khai, tùy chỉnh và tinh chỉnh mà không lo ngại về bảo mật dữ liệu.