Startup Thinking Machines Lab của Mira Murati gọi vốn 5 tỷ USD với định giá 40 tỷ USD
Startup trí tuệ nhân tạo Thinking Machines Lab, do cựu Giám đốc Công nghệ OpenAI Mira Murati sáng lập, được cho là đang huy động 5 tỷ USD với mức định giá trước khi gọi vốn là 40 tỷ USD. Đồng thời, phòng thí nghiệm này đã công bố mô hình MoE Inkling 2 Small, sẽ được phát hành theo giấy phép mở trọng số Apache 2.0. Vòng gọi vốn quy mô lớn này nhấn mạnh sự quan tâm bền vững của nhà đầu tư đối với nhân tài và cơ sở hạ tầng AI ưu tú, ngay cả khi một số cuộc đàm phán định giá cao trước đó gặp phải trắc trở. Hơn nữa, việc phát hành các mô hình mạnh mẽ theo giấy phép cởi mở như Apache 2.0 tiếp tục thúc đẩy sự tăng trưởng của hệ sinh thái trọng số mở và cạnh tranh trong ngành công nghiệp AI. Mô hình Inkling 2 Small mới được công bố sử dụng kiến trúc Hỗn hợp chuyên gia (MoE) với tổng số lượng tham số là 594B và 17B tham số hoạt động (594B-A17B), đã trải qua bốn giai đoạn huấn luyện trước và 9 ngày huấn luyện tăng cường chung. Mô hình này dự kiến sẽ được phát hành mở vào tuần tới.
## KIẾN THỨC NỀN
Hỗn hợp chuyên gia (MoE) là một kiến trúc học sâu trong đó nhiều mạng phụ chuyên biệt ('chuyên gia') xử lý các tập hợp con dữ liệu khác nhau, được điều khiển bởi một mạng cổng để cải thiện hiệu quả tính toán. Apache 2.0 là giấy phép phần mềm tự do cho phép các nhà phát triển tự do sử dụng, sửa đổi và phân phối phần mềm hoặc trọng số mô hình cho cả mục đích thương mại lẫn phi thương mại.