Đánh giá 6 tháng vận hành máy chủ AI cục bộ tự dựng với 256GB VRAM
Một kỹ sư hạ tầng CNTT đã chia sẻ đánh giá chi tiết sau 6 đến 8 tháng vận hành máy chủ AI cục bộ tự dựng sở hữu 256GB VRAM và 512GB RAM. Hệ thống này chạy thành công các mô hình Mixture of Experts (MoE) lớn và các công cụ tạo ảnh đồng thời nhờ kết hợp tám card đồ họa RTX 3090 và hai card RTX 5090. Cấu hình này chứng minh tính khả thi của việc chạy các tác vụ AI cục bộ cấp doanh nghiệp, như các mô hình MoE tiên tiến và tạo hình ảnh, trên phần cứng tiêu dùng mà không cần phụ thuộc vào API đám mây. Đây là một mô hình tham khảo cho các doanh nghiệp nhỏ muốn tránh chi phí API và các mối lo ngại về bảo mật dữ liệu thông qua hạ tầng tự vận hành. Máy chủ sử dụng CPU AMD Threadripper 3995WX, 512GB RAM ECC và hệ thống nguồn kết hợp 2900W để chạy 10 GPU thông qua các card chia băng thông PCIe (bifurcation) và cáp riser. Dù hoạt động hiệu quả cho tác vụ suy luận và ComfyUI với nhiệt độ ổn định dưới 75°C, tác giả lưu ý rằng hệ thống này không được thiết kế cho việc huấn luyện mô hình hoặc suy luận đa người dùng đồng thời cao.
## KIẾN THỨC NỀN
Nền tảng của tác giả về tính toán hiệu năng cao (HPC) bắt nguồn từ các cụm Beowulf (Beowulf clusters), vốn là các hệ thống tính toán song song hiệu năng cao được xây dựng từ các máy tính thương mại thông thường kết nối mạng với nhau. Tương tự, dự án máy chủ AI hiện đại này áp dụng các khái niệm xử lý song song bằng cách gộp nhiều GPU tiêu dùng để đáp ứng yêu cầu VRAM khổng lồ cho việc suy luận AI cục bộ.