Khai trương Trung tâm Vận hành Token Trường Giang với hơn 100 mô hình LLM
Trung tâm Vận hành Token Trường Giang (Gia Hưng) đã chính thức đi vào hoạt động tại Chiết Giang, Trung Quốc, cung cấp một nền tảng thống nhất cho các doanh nghiệp tiếp cận hơn 100 mô hình ngôn ngữ lớn phổ biến như DeepSeek và Qwen. Nền tảng này tích hợp các tính năng như cổng API chung, đo lường Token, thanh toán chi phí, khấu trừ chính sách và kiểm toán an ninh thống nhất. Sáng kiến do chính phủ hỗ trợ này thể hiện xu hướng ngày càng tăng trong việc tập trung hóa cơ sở hạ tầng AI, giúp các doanh nghiệp giảm bớt sự phức tạp và chi phí khi triển khai AI ở quy mô lớn. Bằng cách cung cấp hệ thống thanh toán thống nhất và định tuyến mô hình, trung tâm giúp giảm rào cản gia nhập cho các doanh nghiệp khu vực muốn áp dụng AI tạo sinh. Nền tảng có khả năng tự động khớp các tác vụ với mô hình tối ưu nhất về chi phí để giảm thiểu lượng tiêu thụ token. Cơ sở hạ tầng nền tảng được hỗ trợ bởi bốn trung tâm tính toán quy mô vạn card đồ họa tại Gia Hưng, được vận hành bởi Alibaba, China Telecom, China Mobile và Runze.
## KIẾN THỨC NỀN
Trong môi trường triển khai thực tế, việc quản lý chi phí của các mô hình ngôn ngữ lớn (LLM) là một thách thức lớn, do việc sử dụng API thường được tính phí dựa trên số lượng token được xử lý. Định tuyến mô hình (model routing) là một chiến lược tối ưu hóa giúp chuyển hướng các yêu cầu của người dùng một cách linh hoạt đến mô hình rẻ nhất có khả năng xử lý tác vụ đó. Phương pháp này, kết hợp với việc đo lường token tập trung, cho phép các tổ chức cắt giảm đáng kể chi phí vận hành mà không làm giảm chất lượng đầu ra.