Moonshot AI Phát Hành Trọng Số Cho Kimi K3, Mô Hình Tham Số 2,8T
Moonshot AI đã chính thức phát hành trọng số cho Kimi K3, một mô hình khổng lồ với 2,8 nghìn tỷ (2.8T) tham số được thiết kế cho các tác vụ lập trình, suy luận và xử lý tri thức nâng cao. Đây là mô hình thuộc phân khúc 3T mở đầu tiên trên thế giới sở hữu khả năng thị giác bản địa và cửa sổ ngữ cảnh lên tới 1 triệu token. Việc phát hành một mô hình trọng số mở với 2,8T tham số đã mở rộng đáng kể giới hạn tiếp cận và vận hành của cộng đồng AI mã nguồn mở. Sự kết hợp giữa cửa sổ ngữ cảnh khổng lồ và khả năng suy luận nâng cao của Kimi K3 mang lại một giải pháp thay thế mạnh mẽ cho các mô hình thương mại đóng hàng đầu hiện nay. Kimi K3 được xây dựng trên kiến trúc Kimi Delta Attention và Attention Residuals độc quyền của Moonshot AI nhằm quản lý hiệu quả cửa sổ ngữ cảnh 1 triệu token. Mô hình này hỗ trợ hiểu đa phương thức, gọi công cụ (tool calling) và thực thi tác vụ song song thông qua các khung như Swarm và Goal.
## KIẾN THỨC NỀN
Moonshot AI là một công ty khởi nghiệp trí tuệ nhân tạo nổi bật có trụ sở tại Bắc Kinh, được thành lập vào năm 2023 bởi các cựu sinh viên Đại học Thanh Hoa, nổi tiếng với việc tập trung vào các mô hình ngôn ngữ lớn có ngữ cảnh dài. Các mô hình trọng số mở (open-weights) cho phép các nhà phát triển tải xuống và chạy cục bộ các tham số đã được huấn luyện trước của mạng thần kinh, mang lại tính minh bạch và khả năng tùy chỉnh cao hơn so với các mô hình chỉ cung cấp qua API.