Trung Quốc ra mắt 'nhà máy token' di động trên xe đầu tiên cho suy luận AI
Trung Quốc đã ra mắt "nhà máy token" di động trên xe đầu tiên, một đơn vị tính toán dạng container được thiết kế để cung cấp năng lực suy luận AI linh hoạt. Hệ thống này tích hợp phần cứng nội địa và quản lý năng lượng để khớp tải công việc AI với các nguồn năng lượng tái tạo một cách linh hoạt. Dự án này thử nghiệm mô hình "hiệp đồng điện toán - điện năng" mới, cho phép các trung tâm dữ liệu di động tận dụng nguồn năng lượng tái tạo dư thừa, giá rẻ trực tiếp tại các trạm biến áp. Bằng cách này, hệ thống có thể giảm khoảng 25% chi phí vận hành tính toán, đồng thời giúp lưới điện tiêu thụ năng lượng xanh dư thừa tốt hơn. Được đặt trong một container 40 feet tiêu chuẩn, thiết bị này có thể cung cấp công suất tính toán từ 50 đến 100 PFLOPS dưới nguồn cấp điện 120 kW, đủ để chạy hai tác vụ suy luận mô hình ngôn ngữ lớn nội địa. Hệ thống hỗ trợ tối đa 9 tủ rack và có thể triển khai, kết nối mạng hoàn chỉnh trong vòng 6 đến 8 giờ.
## KIẾN THỨC NỀN
"Hiệp đồng điện toán - điện năng" (computing-electricity synergy) đề cập đến việc liên kết và khớp động các tài nguyên tính toán với nguồn cung cấp điện để tối ưu hóa hiệu quả năng lượng. Trong khi đó, "nhà máy token" (token factory) trong AI chỉ cơ sở hạ tầng được tối ưu hóa riêng cho việc tạo ra các token trong quá trình suy luận AI, nơi thông lượng và hiệu quả chi phí là những yếu tố cực kỳ quan trọng.