Giới thiệu Inkling 2 Small: Mô hình MoE 594B với trọng số mã nguồn mở sắp ra mắt
Thinking Machines đã công bố Inkling 2 Small, một mô hình Mixture-of-Experts với tổng số 594B tham số và 17B tham số hoạt động, cùng hỗ trợ đa phương thức và khả năng điều chỉnh mức độ nỗ lực. Mô hình này ban đầu có sẵn thông qua Tinker với trọng số đóng, và toàn bộ trọng số sẽ được phát hành theo giấy phép Apache 2.0 vào tuần tới sau khi hoàn tất kiểm tra an toàn. Bản phát hành này đánh dấu một bước nâng cấp thế hệ quan trọng đối với các mô hình trọng số mở, đạt được những cải thiện hiệu suất đáng kể về lập trình tác nhân, thị giác, công việc trí tuệ và khả năng suy luận. Việc sắp phát hành trọng số mở theo giấy phép Apache 2.0 sẽ cung cấp cho các nhà phát triển và nhà nghiên cứu những công cụ mạnh mẽ để tinh chỉnh và triển khai. Inkling 2 Small vượt trội hơn hẳn các phiên bản trước với điểm số 31 trên Chỉ số Trí tuệ Phân tích Nhân tạo (Artificial Analysis Intelligence Index). Những cải tiến này bắt nguồn từ quá trình huấn luyện trước được tối ưu hóa và một đợt học tăng cường lớn, đồng nhất.
## KIẾN THỨC NỀN
Mixture-of-Experts (MoE) là một kiến trúc học máy trong đó nhiều mạng con chuyên biệt ('các chuyên gia') được sử dụng, nhưng chỉ một tập hợp con trong số đó được kích hoạt cho mỗi token nhằm duy trì hiệu suất cao với chi phí tính toán thấp hơn. Giấy phép Apache 2.0 là một giấy phép mã nguồn mở cho phép người dùng tự do sử dụng, sửa đổi và phân phối phần mềm hoặc mô hình.