Mô hình MoE Inkling-Small ra mắt trên bảng xếp hạng Text Arena
Inkling-Small, một mô hình Mixture of Experts (MoE) mới do Thinky Machines phát triển, đã ra mắt trên bảng xếp hạng Text Arena. Mô hình này đạt vị trí thứ 88 toàn phần và thứ 21 trong số các mô hình mã nguồn mở, với điểm số AutoEval là 1431. Mô hình này chứng minh hiệu quả tính toán cao khi đạt được hiệu suất cạnh tranh chỉ với 12 tỷ tham số hoạt động trên tổng số 276 tỷ tham số. Điều này làm nổi bật tiềm năng của kiến trúc MoE trong việc mang lại kết quả chất lượng cao trong khi giảm thiểu chi phí tính toán thực tế. Inkling-Small hoạt động với 12 tỷ tham số hoạt động trên tổng số 276 tỷ tham số. Hiệu suất của nó bám đuổi sát nút với các mô hình hiệu quả khác, chẳng hạn như Minimax M2.7 vốn đạt 1417 điểm với 10 tỷ tham số hoạt động.
## KIẾN THỨC NỀN
Mixture of Experts (MoE) là một kiến trúc AI định tuyến dữ liệu đầu vào đến các phân mảnh mô hình chuyên biệt cụ thể, hay còn gọi là "chuyên gia" (experts), thay vì kích hoạt toàn bộ mạng thần kinh cho mỗi tác vụ. Phương pháp này cho phép các mô hình sở hữu tổng số lượng tham số khổng lồ trong khi vẫn giữ số lượng tham số hoạt động—và do đó là chi phí tính toán trên mỗi token—ở mức tương đối thấp. Text Arena là một nền tảng đánh giá hiệu năng (benchmark) giúp xếp hạng các mô hình ngôn ngữ lớn (LLM) qua nhiều tác vụ dạng văn bản như lập trình, toán học và viết lách sáng tạo.