Cấu hình PC giá rẻ ghép 12 GPU CMP 170HX đạt 768GB VRAM

Một người dùng Reddit đã lắp ráp một hệ thống phần cứng tự dựng gồm 12 GPU Nvidia CMP 170HX để gộp thành 768GB VRAM nhằm chạy các mô hình LLM lớn tại chỗ. Chi phí của toàn bộ hệ thống này thấp hơn giá của một chiếc card trạm làm việc Nvidia RTX 6000. Dung lượng VRAM lớn là rào cản phần cứng lớn nhất khi chạy các mô hình AI nguồn mở khổng lồ tại chỗ, do các GPU doanh nghiệp có bộ nhớ khủng luôn có giá cực kỳ đắt đỏ. Dự án này cho thấy việc tái sử dụng card đào coin chuyên dụng cung cấp một giải pháp tiết kiệm và khả thi giúp người dùng cá nhân cũng như nhà nghiên cứu tiếp cận quy mô bộ nhớ cấp doanh nghiệp. Hệ thống chạy các phần mềm như vLLM và llama.cpp để vận hành các mô hình như GLM-5.3 và các biến thể Qwen, đồng thời sử dụng kết nối cáp quang RPC (Remote Procedure Call) để mở rộng bộ nhớ sang máy phụ. Mặc dù phải đánh đổi bằng lượng điện tiêu thụ cao, độ ồn và cấu hình phức tạp, giải pháp này giải quyết hiệu quả rào cản chi phí phần cứng truyền thống.