Alibaba công bố Qwen 3 với 2,4 nghìn tỷ tham số và sắp mở trọng số
Đội ngũ Qwen của Alibaba đã công bố Qwen 3, một mô hình ngôn ngữ lớn khổng lồ sở hữu 2,4 nghìn tỷ tham số. Nhóm phát triển cũng cho biết các trọng số mở (open weights) của mô hình này sẽ sớm được phát hành trong thời gian tới. Một mô hình với 2,4 nghìn tỷ tham số đại diện cho một quy mô cực kỳ lớn đối với AI mở trọng số, có khả năng cạnh tranh với các mô hình độc quyền lớn nhất và thúc đẩy mạnh mẽ hệ sinh thái AI nguồn mở. Mặc dù mô hình đã được công bố, ngày phát hành chính thức và các yêu cầu phần cứng cụ thể để chạy một mô hình 2,4 nghìn tỷ tham số cục bộ vẫn chưa được tiết lộ chi tiết.
## KIẾN THỨC NỀN
Qwen là một dòng mô hình ngôn ngữ lớn được phát triển bởi Alibaba Cloud, nổi tiếng với việc cung cấp các phiên bản mở trọng số đối trọng với các mô hình độc quyền. Trong các mô hình ngôn ngữ lớn (LLM), tham số là các trọng số nội bộ được học trong quá trình huấn luyện nhằm xác định khả năng hiểu và tạo văn bản của mô hình, trong đó "trọng số mở" (open weights) nghĩa là các tham số này được tải xuống công khai.