~/ARTIFICIAL I/thinking-machines-releases-inkling-2-small-trained-on-12t-tokens

Thinking Machines Phát Hành Mô Hình Inkling 2 Small Được Đào Tạo Trên 12T Token

Thinking Machines Lab đã giới thiệu Inkling 2 Small, một mô hình Hỗn hợp Chuyên gia (MoE) được đào tạo nhanh chóng trong vòng 68 giờ trên 12 nghìn tỷ token. Ngoài ra, METR đã công bố một nghiên cứu xem xét các thực hành nghiên cứu AI và sự tăng tốc R&D tại Anthropic. Bản phát hành này thể hiện những cải tiến đáng kể về hiệu quả thời gian đào tạo mô hình và mở rộng quy mô token cho các mô hình ngôn ngữ tiên tiến. Các phân tích về phương pháp nghiên cứu của Anthropic cũng làm sáng tỏ cách các công cụ AI đang đẩy nhanh tốc độ phát triển AI trong thế giới thực. Inkling 2 Small sở hữu tổng cộng 594 tỷ tham số với 17 tỷ tham số hoạt động, hỗ trợ đầu vào hình ảnh và nỗ lực suy luận biến đổi, đồng thời đạt điểm số 31 trên Chỉ số Trí tuệ Phân tích Nhân tạo (Artificial Analysis Intelligence Index).

## KIẾN THỨC NỀN

Thinking Machines Lab phát triển các kiến trúc AI tiên tiến, trong khi METR (Model Evaluation and Threat Research) là một tổ chức tập trung vào việc đánh giá năng lực AI tiên tiến và các phương pháp nghiên cứu. Hỗn hợp Chuyên gia (Mixture-of-Experts) là một thiết kế mạng thần kinh trong đó chỉ một tập hợp con các tham số được kích hoạt cho mỗi token nhằm nâng cao hiệu suất.

## TÀI LIỆU THAM KHẢO

## TỪ KHÓA

#Artificial Intelligence#Large Language Models#Model Training#AI Research

$ subscribe --daily