Inkling-Small Ra Mắt Ở Vị Trí Thứ 88 Trên Bảng Xếp Hạng LMSYS Text Arena
Mô hình trọng số mở Inkling-Small của Thinky Machines đã ra mắt ở vị trí khoảng thứ 88 toàn bảng và thứ 21 trong số các mô hình mã nguồn mở trên LMSYS Text Arena. Thứ hạng ban đầu này dựa trên điểm số AutoEval sớm, trong đó mô hình đạt được 1.431 điểm. Inkling-Small đáng chú ý khi là một trong năm mô hình duy nhất do Mỹ phát triển lọt vào top 25 mô hình mở trên bảng xếp hạng. Hiệu suất mạnh mẽ của nó làm nổi bật tính cạnh tranh của các nhà phát triển AI mã nguồn mở tại Mỹ trước các mô hình quốc tế đang chiếm ưu thế. Inkling-Small là một mô hình Mixture of Experts (MoE) với 276 tỷ tham số, trong đó có 12 tỷ tham số hoạt động. Thứ hạng này dựa trên hệ thống AutoEval của LMSYS, một khung đánh giá tự động sử dụng mô hình phần thưởng được huấn luyện trên dữ liệu sở thích của con người thay vì bình chọn trực tiếp.
## KIẾN THỨC NỀN
LMSYS Chatbot Arena là một nền tảng đánh giá hiệu năng uy tín, nơi các mô hình ngôn ngữ lớn (LLM) được đánh giá thông qua các so sánh cặp mù do cộng đồng đóng góp. AutoEval là một khung đánh giá tự động được thiết kế để ước tính sở thích của con người bằng cách sử dụng các LLM làm giám khảo và các chỉ số thần kinh. Thinky Machines gần đây đã phát hành dòng mô hình trọng số mở Inkling, sử dụng kiến trúc Mixture of Experts (MoE) để tối ưu hóa hiệu quả tính toán.