Moonshot AI Sắp Phát Hành Trọng Số Mở Cho Mô Hình Kimi K3
Moonshot AI chuẩn bị phát hành phiên bản trọng số mở (open-weight) cho mô hình hàng đầu Kimi K3 của mình. Mô hình này sở hữu 2,8 nghìn tỷ tham số, khả năng đa phương thức gốc và cửa sổ ngữ cảnh lên tới 1 triệu token. Việc phát hành một mô hình khổng lồ với 2,8 nghìn tỷ tham số dưới dạng trọng số mở giúp cộng đồng AI tiếp cận được các khả năng lập luận và lập trình tiên tiến nhất. Điều này cũng mở đường cho các nhà cung cấp dịch vụ suy luận bên thứ ba lưu trữ mô hình, giúp AI tiên tiến trở nên dễ tiếp cận hơn. Kimi K3 được xây dựng trên Kimi Delta Attention (KDA), một cơ chế chú ý tuyến tính lai, cùng với Attention Residuals. Do kích thước cực kỳ lớn, việc chạy mô hình cục bộ là bất khả thi đối với hầu hết người dùng cá nhân, khiến các nhà cung cấp dịch vụ suy luận đám mây rất được mong đợi.
## KIẾN THỨC NỀN
Moonshot AI là một công ty khởi nghiệp AI nổi tiếng với chatbot Kimi và sự tập trung vào các mô hình ngữ cảnh dài. Các mô hình "trọng số mở" (open-weight) cung cấp cho công chúng các tham số đã huấn luyện của mạng thần kinh, cho phép người dùng tự vận hành hoặc tinh chỉnh chúng, khác với các mô hình mã nguồn đóng hoàn toàn chỉ có thể truy cập qua API độc quyền.