Moonshot AI phát hành mô hình mở Kimi K3.1 Pro với 3 nghìn tỷ tham số
Moonshot AI đã phát hành Kimi K3.1 Pro, một mô hình mã nguồn mở trọng số (open-weight) có 3 nghìn tỷ tham số với cửa sổ ngữ cảnh 1 triệu token cùng một biến thể đồng hành nhanh hơn mang tên Kimi K3.1 Pro Highspeed. Bài viết kỹ thuật này nêu bật những tiến bộ vượt bậc về hiệu suất trong lĩnh vực lập trình, mô hình hóa 3D và nghiên cứu tài chính chuyên sâu. Việc ra mắt một mô hình mã nguồn mở trọng số quy mô lớn 3 nghìn tỷ tham số đánh dấu một cột mốc quan trọng đối với cộng đồng trí tuệ nhân tạo mở tiên tiến, giúp các nhà nghiên cứu và kỹ sư tiếp cận các năng lực hàng đầu. Sự kiện này đẩy lùi ranh giới về những gì AI nguồn mở hoặc mở trọng số có thể đạt được so với các mô hình độc quyền hàng đầu. Mặc dù sở hữu năng lực ấn tượng, kích thước khổng lồ 3 nghìn tỷ tham số khiến mô hình này rất khó để triển khai cục bộ bởi các cá nhân đam mê công nghệ. Nó cũng đi kèm với các tối ưu hóa chuyên biệt cho việc suy luận phức tạp nhiều bước và các tác vụ chuyên ngành như phân tích tài chính.
## KIẾN THỨC NỀN
Tham số trong các mô hình ngôn ngữ lớn là các thiết lập số có thể điều chỉnh mà AI tinh chỉnh trong quá trình huấn luyện để nhận diện các mẫu dữ liệu. Các mô hình thuộc nhóm hàng nghìn tỷ tham số nằm ở phân khúc cực kỳ lớn, đòi hỏi nguồn tài nguyên điện toán khổng lồ để vận hành và mang lại khả năng hiểu cũng như tạo sinh tiên tiến.