Cụm Tesla V100 9 năm tuổi của NVIDIA vượt qua phần cứng mới hơn trong suy luận AI
Một YouTuber đã chứng minh rằng một cụm máy tự chế gồm bốn GPU NVIDIA Tesla V100 từ năm 2017 được kết nối qua NVLink đã vượt trội hơn các phần cứng như Mac Studio M5 Ultra và DGX Spark trong các bài kiểm tra chuẩn suy luận AI với đoạn nhắc dài. Thí nghiệm này làm nổi bật cách băng thông kết nối đa GPU tốc độ cao như NVLink có thể giúp phần cứng trung tâm dữ liệu cũ giữ được tính cạnh tranh đáng ngạc nhiên trong các khối lượng công việc suy luận mô hình ngôn ngữ lớn cụ thể. Thiết lập này đã sử dụng một bảng mạch mang NVLink cung cấp băng thông 300GB/s và các bộ tản nhiệt NVIDIA A100 được sửa đổi để quản lý mức tiêu thụ điện năng 300W của mỗi thẻ V100, chạy mô hình Qwen3.8-Flash-Next được lượng tử hóa 4-bit.
## KIẾN THỨC NỀN
NVIDIA Tesla V100 là một GPU trung tâm dữ liệu kiến trúc Volta được phát hành vào năm 2017, sử dụng bộ nhớ HBM2 và cung cấp băng thông bộ nhớ cao cho các tác vụ AI. NVLink là công nghệ kết nối tốc độ cao độc quyền do NVIDIA phát triển để cho phép giao tiếp trực tiếp, thông lượng cao giữa nhiều GPU mà không chỉ dựa vào các điểm nghẽn của PCIe.