Alibaba công bố kế hoạch phát triển mô hình AI 5-10 nghìn tỷ tham số và vi chip mới

Alibaba đã công bố kế hoạch đầy tham vọng nhằm xây dựng mô hình AI thế hệ tiếp theo với quy mô từ 5 nghìn tỷ đến 10 nghìn tỷ tham số. Cùng với thông báo về mô hình này, công ty cũng ra mắt một vi chip AI tùy chỉnh mới được thiết kế để xử lý các khối lượng công việc trí tuệ nhân tạo cực lớn. Mở rộng quy mô mô hình lên hàng nghìn tỷ tham số đại diện cho một bước tiến lớn trong phát triển AI tiên phong, giúp cải thiện đáng kể khả năng suy luận và đa thức. Ngoài ra, việc tự phát triển phần cứng cho phép Alibaba tối ưu hóa hiệu suất tính toán huấn luyện đồng thời giảm thiểu rủi ro từ sự hạn chế nguồn cung GPU bên thứ ba. Mặc dù các thông số kiến trúc chi tiết của chip và lộ trình phát hành cụ thể của mô hình vẫn còn hạn chế, dự án này nhấn mạnh chiến lược tích hợp dọc giữa phần mềm và phần cứng của Alibaba. Việc huấn luyện một mô hình ở quy mô này đòi hỏi các thuật toán tính toán phân tán tiên tiến, hạ tầng kết nối tùy chỉnh và mảng bộ nhớ mật độ cao.