Thiết lập hạ tầng AI nội bộ cho doanh nghiệp sử dụng 4 GPU RTX 6000 Blackwell
Một công ty đã triển khai máy chủ 4U trang bị bốn GPU RTX 6000 Blackwell MaxQ và bộ xử lý AMD EPYC để phục vụ 40 người dùng nội bộ. Hạ tầng này chạy Proxmox với các vùng chứa LXC để lưu trữ các mô hình ngôn ngữ lớn cục bộ, bot ghi âm cuộc họp, API phát triển và công cụ tạo ảnh. Thiết lập này minh họa một bản thiết kế thực tế, hiệu năng cao cho các doanh nghiệp nhỏ muốn áp dụng hạ tầng AI cục bộ cấp doanh nghiệp trong khi vẫn duy trì quyền riêng tư dữ liệu tuyệt đối. Nó làm nổi bật cách phần mềm nguồn mở hiện đại và phần cứng cao cấp có thể thay thế thành công các API AI đám mây của bên thứ ba cho các quy trình làm việc nội bộ. Máy chủ sử dụng vLLM với tính năng song song tensor cho mô hình DeepSeek chính cùng với llama.cpp cho các mô hình phụ, tất cả được quản lý bên trong các container Linux cô lập. Tổng chi phí phần cứng đạt khoảng 55.000 euro, với kế hoạch xây dựng một máy chủ dự phòng trong thời gian tới.
## KIẾN THỨC NỀN
Proxmox là một môi trường ảo hóa máy chủ mã nguồn mở cho phép quản trị viên quản lý các máy chủ ảo và container trên phần cứng vật lý. Song song tensor là kỹ thuật dùng để phân phối một mô hình học sâu đơn lẻ trên nhiều GPU nhằm tăng tốc độ suy luận cho các mô hình lớn vượt quá giới hạn bộ nhớ của một thẻ đơn.