Tencent Công Bố Mô Hình AI Hy4 Sắp Ra Mắt Trọng Tải Mở
Tencent đã công bố Hy4, một mô hình AI Mixture-of-Experts chủ lực mới do Tencent Hy Team phát triển, với trọng tải mở dự kiến sẽ sớm được phát hành. Việc phát hành sắp tới này mang đến một đối thủ trọng tải mở mới rất lớn cho hệ sinh thái AI, cung cấp cho các nhà nghiên cứu và nhà phát triển quyền truy cập vào các khả năng tiên tiến bao gồm ngôn ngữ và tầm nhìn. Mô hình xem trước Hy4 có tổng cộng từ 770B đến 780B tham số, sử dụng kiến trúc Mixture-of-Experts trong đó 49B tham số được kích hoạt cho mỗi token trên 78 lớp.
## KIẾN THỨC NỀN
Trọng tải mở đề cập đến các tham số số học được phát hành công khai của một mô hình trí tuệ nhân tạo đã được đào tạo, cho phép bên thứ ba tải xuống, chạy và tinh chỉnh mô hình. Mixture-of-Experts (MoE) là một kiến trúc mạng thần kinh định tuyến mỗi token đầu vào đến một tập hợp con các mạng phụ chuyên biệt, giúp tăng dung lượng mô hình đồng thời duy trì hiệu quả tính toán.