Microsoft cho phép triển khai mô hình Kimi K3 trên Microsoft Foundry thông qua Fireworks AI
Microsoft đã thông báo rằng người dùng hiện có thể triển khai mô hình Kimi K3 của Moonshot AI trên nền tảng Microsoft Foundry thông qua Fireworks AI. Sự tích hợp này cho phép các nhà phát triển vận hành mô hình khổng lồ với 2,8 nghìn tỷ tham số trong hệ sinh thái AI dành cho doanh nghiệp của Microsoft. Sự hợp tác này cung cấp cho các nhà phát triển doanh nghiệp quyền truy cập hợp lý vào một trong những mô hình mở lớn nhất hiện nay, kết hợp các công cụ quản lý mạnh mẽ của Microsoft với khả năng suy luận tốc độ cao và tiết kiệm chi phí của Fireworks AI. Điều này phản ánh xu hướng ngày càng tăng của các nhà cung cấp đám mây trong việc tích hợp các mô hình nguồn mở hiệu suất cao để thu hút khối lượng công việc AI của doanh nghiệp. Mô hình Kimi K3 sở hữu cửa sổ ngữ cảnh lên tới 1 triệu token, có khả năng xử lý khoảng 750.000 từ trong một yêu cầu duy nhất. Theo hình thức triển khai Data Zone, mức giá được đặt ở mức 3,30 USD cho mỗi triệu token đầu vào, 16,50 USD cho mỗi triệu token đầu ra và 0,33 USD cho mỗi triệu token đầu vào được lưu vào bộ nhớ đệm (cached).
## KIẾN THỨC NỀN
Microsoft Foundry (hiện là Azure AI Foundry) là một nền tảng tích hợp giúp đơn giản hóa việc xây dựng, thử nghiệm và triển khai các ứng dụng cũng như tác nhân AI. Fireworks AI là một nền tảng đám mây chuyên dụng được thành lập bởi các cựu thành viên cốt lõi của đội ngũ PyTorch, giúp tối ưu hóa tốc độ và hiệu quả chi phí khi vận hành các mô hình ngôn ngữ lớn. Kimi K3 của Moonshot AI là một mô hình nguồn mở tiên phong giúp mở rộng giới hạn quy mô của các mô hình mở.