Stepfun Ra Mắt Step-5-Preview: Mô Hình MoE 600B Với Ngữ Cảnh 1 Triệu Token
Stepfun đã giới thiệu Step-5-Preview, một mô hình Mixture-of-Experts (MoE) thưa thớt chủ lực với tổng số 600 tỷ tham số và 27 tỷ tham số hoạt động. Mô hình này hỗ trợ nguyên bản đầu vào văn bản, hình ảnh và video đồng thời cung cấp cửa sổ ngữ cảnh lên tới 1 triệu token. Được thiết kế đặc biệt cho các quy trình làm việc tự động (agentic), Step-5-Preview mang lại hiệu suất cấp độ tiên tiến trong lĩnh vực kỹ thuật phần mềm và công việc tri thức chuyên nghiệp, với thế mạnh vượt trội về tài chính. Bản phát hành này thể hiện một bước tiến đáng kể trong năng lực của các mô hình AI quy mô lớn hướng tới các hoạt động phức tạp, nhiều bước trong thế giới thực. Mô hình sử dụng kiến trúc Mixture-of-Experts thưa thớt để duy trì trí thông minh cao trong khi giữ chi phí tính toán ở mức có thể quản lý được trong quá trình suy luận. Nó được tối ưu hóa để xử lý liền mạch lượng lớn thông tin, các lệnh gọi công cụ liên tục và các luồng dữ liệu đa phương thức.
## KIẾN THỨC NỀN
Mixture of Experts (MoE) là một kiến trúc học máy trong đó chỉ có một tập hợp con các mạng nơ-ron (các chuyên gia) được kích hoạt cho mỗi đầu vào nhất định, cho phép các mô hình mở rộng tổng số tham số mà không làm tăng tỷ lệ chi phí tính toán. Cửa sổ ngữ cảnh đề cập đến số lượng token tối đa—từ hoặc từ phụ—mà một mô hình ngôn ngữ có thể xử lý và giữ lại trong bộ nhớ làm việc của nó tại một thời điểm.