Nhà phát triển nâng cấp homelab lên cụm 36 nút DGX Spark để suy luận AI cục bộ
Một nhà phát triển đã nâng cấp cụm máy chủ homelab của mình từ 16 lên 36 nút NVIDIA DGX Spark, đạt được 4,6TB bộ nhớ hợp nhất và kết nối mạng 200Gbps. Thiết lập này được thiết kế để chạy các mô hình AI tiên tiến nhất và một hệ thống suy luận đa tác nhân tùy chỉnh cục bộ. Dự án này chứng minh tính khả thi của việc chạy các mô hình tiên tiến, khổng lồ như Kimi K3 với 2,8 nghìn tỷ tham số hoàn toàn cục bộ mà không phụ thuộc vào trung tâm dữ liệu của bên thứ ba. Nó làm nổi bật xu hướng xây dựng hạ tầng AI tự chủ, hiệu năng cao ngay trong môi trường gia đình. Cụm máy chủ này sử dụng bộ chuyển mạch FS 200Gbps với cáp QSFP56 DAC và cáp chia để xử lý mạng tốc độ cao, phân bổ 16 nút chuyên biệt cho suy luận LLM trong khi dự phòng các nút khác cho các tác vụ như nhúng và tạo hình ảnh. Nhà phát triển đã chọn DGX Spark thay vì GPU B200/B300 do yêu cầu tản nhiệt và điện năng cực lớn của các dòng chip sau trong môi trường gia đình.
## KIẾN THỨC NỀN
NVIDIA DGX Spark là một nền tảng phần cứng được thiết kế cho các tác vụ AI phân tán, cho phép kết nối nhiều thiết bị thành một cụm thông qua mạng tốc độ cao để chạy các mô hình vượt quá dung lượng bộ nhớ của một máy đơn lẻ. QSFP56 là tiêu chuẩn bộ thu phát mạng hỗ trợ tốc độ lên tới 200 Gbps, đóng vai trò quan trọng trong việc giảm thiểu độ trễ khi suy luận song song. Kimi K3 là một mô hình ngôn ngữ lớn nguồn mở khổng lồ với 2,8 nghìn tỷ tham số do Moonshot AI phát triển.