Reflection Phát Hành Mô Hình LLM Mở MoE Beam-1.0-501B-A23B
Reflection vừa phát hành Beam-1.0-501B-A23B, một mô hình ngôn ngữ lớn nguồn mở dạng hỗn hợp chuyên gia thưa (MoE) với tổng số 501,3 tỷ tham số, 23,4 tỷ tham số hoạt động và cửa sổ ngữ cảnh 1 triệu token. Mô hình này hỗ trợ các định dạng số học BF16, FP8 và NVFP4 cùng các khả năng chuyên biệt trong lĩnh vực kỹ thuật phần mềm và suy luận tối ưu token. Sự kiện này đánh dấu một bước tiến lớn đối vối hệ sinh thái AI mã nguồn mở khi cung cấp quy mô khổng lồ kết hợp với hiệu suất mạnh mẽ trong việc sử dụng công cụ tác vụ và kỹ thuật phần mềm. Khả năng đạt chất lượng giải pháp cao với ít token suy luận hơn trong quá trình chạy giúp giải quyết một nút cổ chai về hiệu suất đối với các mô hình ngôn ngữ lớn. Mô hình Beam có 52 lớp với cơ chế Gated GQA và Sliding Window Attention, bộ từ vựng 152k token, đồng thời hỗ trợ các luồng công việc tác nhân nâng cao bao gồm tích hợp công cụ theo giao thức Model Context Protocol (MCP). Mô hình đạt điểm số chuẩn cao như 81.6% trên SWE-Bench Verified và 90.6% trên GPQA Diamond.
## KIẾN THỨC NỀN
Kiến trúc hỗn hợp chuyên gia thưa (MoE) định tuyến đầu vào đến một tập hợp con các tham số mạng thần kinh, giúp mô hình tăng quy mô tổng thể mà vẫn kiểm soát được chi phí tính toán hoạt động. NVFP4 là định dạng dấu phẩy động 4-bit độ chính xác thấp được thiết kế để tăng tốc độ suy luận trên các kiến trúc phần cứng hiện đại, trong khi giao thức MCP chuẩn hóa cách các tác nhân AI giao tiếp an toàn với các công cụ và nguồn dữ liệu bên ngoài.