Arena Phát Hành Inkling-Small, Mô Hình MoE Mã Nguồn Mở 276 Tỷ Tham Số

Arena (Thinking Machines Lab) đã phát hành Inkling-Small, một mô hình Mixture-of-Experts (MoE) với tổng cộng 276 tỷ tham số và 12 tỷ tham số hoạt động. Trọng số đầy đủ của mô hình đã được công khai, cho phép các nhà phát triển chạy cục bộ hoặc tinh chỉnh nó. Inkling-Small mang lại hiệu suất tương đương với mô hình Inkling gốc nhưng chỉ bằng một phần tư kích thước, giúp khả năng suy luận hiệu suất cao trở nên dễ tiếp cận hơn. Bằng việc công khai trọng số, Arena cho phép các nhà nghiên cứu và nhà phát triển chạy và tùy chỉnh một mô hình MoE khổng lồ một cách hiệu quả. Mô hình sử dụng kiến trúc Mixture-of-Experts để chỉ kích hoạt 12 tỷ trong số 276 tỷ tham số cho mỗi token, giúp tối ưu hóa hiệu suất tính toán. Các nhà phát triển có thể tinh chỉnh Inkling-Small bằng Tinker, một API huấn luyện linh hoạt sử dụng LoRA để thích ứng hiệu quả với tài nguyên.