Sự ra mắt của Kimi-K3 thu hẹp khoảng cách giữa AI mã nguồn mở và đóng
Sự ra mắt của Kimi-K3, một mô hình mã nguồn mở với 2,8 nghìn tỷ tham số, đã đưa ranh giới AI mã nguồn mở đến gần các mô hình mã nguồn đóng hàng đầu với khoảng cách chỉ còn 1,5 tháng. Sự phát triển này chứng minh rằng các định luật mở rộng quy mô (scaling laws) vẫn tiếp tục đúng đối với các mô hình lớn hơn, đồng thời thu hẹp đáng kể khoảng cách giữa các giải pháp mã nguồn mở và các gã khổng lồ độc quyền như OpenAI và Anthropic. Được xây dựng trên Kimi Delta Attention và Attention Residuals, Kimi-K3 sở hữu khả năng thị giác tự nhiên, cửa sổ ngữ cảnh 1 triệu token và được tối ưu hóa cho các tác vụ lập trình dài hạn cũng như xử lý tri thức.
## KIẾN THỨC NỀN
Các mô hình ngôn ngữ lớn phụ thuộc vào việc mở rộng quy mô tham số để cải thiện hiệu suất, nhưng việc huấn luyện và vận hành các mô hình hàng nghìn tỷ tham số này đòi hỏi tài nguyên tính toán khổng lồ. Các nền tảng độc lập như Artificial Analysis thực hiện đánh giá hiệu năng các mô hình này để theo dõi khoảng cách hiệu suất giữa AI độc quyền và mã nguồn mở.