NVIDIA Vera Rubin NVL72 Đạt Hiệu Suất Năng Lượng Gấp 10 Lần Khi Chạy DeepSeek R1
Thử nghiệm của CoreWeave trên nền tảng Vera Rubin NVL72 thế hệ mới của NVIDIA cho thấy thông lượng token trên mỗi megawatt tăng gấp 10 lần so với hệ thống GB200 NVL72 thế hệ Blackwell khi chạy mô hình suy luận DeepSeek R1. NVIDIA cũng thông báo đang đẩy nhanh sản xuất hàng loạt Vera Rubin NVL72, hệ thống hiện đã hoạt động trong hạ tầng của các đối tác như CoreWeave, Google Cloud, Microsoft Azure và Oracle Cloud. Bước nhảy vọt về hiệu suất năng lượng này giải quyết một trong những nút thắt lớn nhất của ngành AI: mức tiêu thụ điện năng. Bằng cách cung cấp thông lượng gấp mười lần trên mỗi megawatt, kiến trúc Vera Rubin có thể giảm đáng kể chi phí vận hành và tác động môi trường khi chạy các mô hình suy luận tiên tiến ở quy mô lớn. Thử nghiệm tập trung vào mối quan hệ giữa thông lượng token trên mỗi megawatt và tính tương tác (số token mỗi giây trên mỗi người dùng) để đảm bảo thời gian phản hồi thực tế. CoreWeave đã hoàn thành việc khởi động và xác thực hệ thống quy mô tủ rack Vera Rubin NVL72 đầu tiên trong ngành vào đầu tháng 6.
## KIẾN THỨC NỀN
NVIDIA Vera Rubin NVL72 là siêu máy tính quy mô tủ rack làm mát bằng chất lỏng, tích hợp 72 GPU Rubin và 36 CPU Vera được liên kết với nhau qua NVLink 6. DeepSeek R1 là mô hình suy luận trọng số mở (open-weight) có chi phí hiệu quả cao do công ty AI Trung Quốc DeepSeek phát triển, sử dụng kiến trúc Mixture of Experts (MoE) để đạt hiệu suất tương đương các mô hình thương mại như GPT-4 của OpenAI.