Moonshot AI Ra Mắt Gói Mô Hình Kimi K3-256k

Moonshot AI đã giới thiệu gói mô hình Kimi K3-256k, giới hạn cửa sổ ngữ cảnh của mô hình hàng đầu Kimi K3 ở mức 256.000 token. Gói dịch vụ cấp API này cung cấp một tùy chọn có cấu trúc cho những người dùng không cần đến toàn bộ dung lượng ngữ cảnh 1 triệu token của mô hình gốc. Việc phát hành này làm nổi bật xu hướng phân bậc giá và phân chia cửa sổ ngữ cảnh trong các API LLM nhằm quản lý chi phí tính toán cao liên quan đến việc xử lý độ dài ngữ cảnh lớn. Điều này cho phép các nhà phát triển tối ưu hóa chi phí API dựa trên nhu cầu độ dài token cụ thể của họ. Mô hình nền tảng vẫn là Kimi K3, một mô hình Hỗn hợp Chuyên gia (MoE) với 2,8 nghìn tỷ tham số, nhưng gói này giới hạn cửa sổ ngữ cảnh ở mức 256k token. Người dùng lưu ý rằng việc phân bậc này hoạt động tương tự như cách tính giá theo bậc của OpenAI, nơi chi phí được điều chỉnh dựa trên các ngưỡng độ dài ngữ cảnh.