Moonshot AI Sẽ Cho Kimi K2.5 Nghỉ Hưu Vào Cuối Tháng
Moonshot AI đã thông báo mô hình đa phương thức nghìn tỷ tham số thế hệ đầu tiên của mình, Kimi K2.5, sẽ ngừng hoạt động vào cuối tháng 8. Quyết định này được đưa ra sau khi công ty ra mắt phiên bản kế nhiệm Kimi K3 với 2,8 nghìn tỷ tham số được mã nguồn mở vào tháng 7. Việc ngừng hoạt động này đánh dấu một bước chuyển giao định kỳ trong vòng đời sản phẩm của Moonshot AI khi họ chuyển trọng tâm sang mô hình Kimi K3 mới hơn, lớn hơn và hiệu quả hơn. Điều này làm nổi bật tốc độ phát triển nhanh chóng của các mô hình ngôn ngữ lớn, nơi ngay cả các mô hình nghìn tỷ tham số cũng nhanh chóng bị thay thế bởi các kiến trúc vượt trội hơn. Kimi K2.5 được ra mắt vào tháng 1 dưới dạng mô hình đa phương thức đa dụng hỗ trợ thị giác, văn bản và các tác vụ Agent. Phiên bản kế nhiệm Kimi K3 sở hữu quy mô 2,8 nghìn tỷ tham số, cửa sổ ngữ cảnh 1 triệu token và sử dụng cơ chế chú ý tuyến tính hỗn hợp Kimi Delta Attention (KDA).
## KIẾN THỨC NỀN
Moonshot AI là một công ty khởi nghiệp AI nổi tiếng của Trung Quốc được biết đến với trợ lý thông minh Kimi và khả năng xử lý ngữ cảnh dài. Mô hình Kimi K3 mới hơn sử dụng Kimi Delta Attention (KDA), một mô-đun chú ý tuyến tính giúp mở rộng Gated DeltaNet nhằm tối ưu hóa việc sử dụng bộ nhớ RNN trạng thái hữu hạn, cho phép xử lý ngữ cảnh dài một cách hiệu quả.