ByteDance huấn luyện mô hình AI 10 nghìn tỷ tham số đối đầu Anthropic
ByteDance, công ty mẹ của TikTok, được cho là đang huấn luyện một mô hình trí tuệ nhân tạo khổng lồ với 10 nghìn tỷ tham số. Nỗ lực này nhằm mục đích cạnh tranh trực tiếp với các phòng nghiên cứu AI hàng đầu như Anthropic. Một mô hình 10 nghìn tỷ tham số đại diện cho một bước quy mô hóa đáng kể trong việc huấn luyện AI, báo hiệu sự cạnh tranh toàn cầu ngày càng gay gắt trong lĩnh vực mô hình ngôn ngữ lớn (LLM) tiên tiến. Thành công này có thể đưa ByteDance trở thành một thế lực lớn trong ngành AI tạo sinh cao cấp bên cạnh các gã khổng lồ công nghệ phương Tây. Mặc dù kiến trúc và ngày phát hành của mô hình vẫn chưa được công bố, quy mô khổng lồ 10 nghìn tỷ tham số sẽ biến nó thành một trong những mô hình lớn nhất từng được thử nghiệm. Tuy nhiên, hiệu suất thực tế vẫn sẽ phụ thuộc nhiều vào chất lượng dữ liệu, hiệu quả huấn luyện và các giới hạn về phần cứng.
## KIẾN THỨC NỀN
Các tham số trong mô hình ngôn ngữ lớn (LLM) là các thiết lập nội bộ, bao gồm trọng số và độ chệch, mà mô hình tự điều chỉnh khi học từ dữ liệu huấn luyện. Nhìn chung, số lượng tham số lớn hơn sẽ tăng khả năng hiểu và tạo ra ngôn ngữ phức tạp của mô hình, mặc dù nó cũng đòi hỏi sức mạnh tính toán khổng lồ. Anthropic, được thành lập bởi các cựu thành viên của OpenAI, là một công ty nghiên cứu và an toàn AI nổi tiếng với dòng mô hình LLM mang tên Claude.