Thắc mắc về hiệu năng 4 card AMD Radeon AI Pro R9700 khi chạy LLM cục bộ

Một người dùng trên cộng đồng r/LocalLLaMA đã tham khảo ý kiến về điểm số benchmark thực tế và trải nghiệm sử dụng dàn máy trang bị 4 card AMD Radeon AI Pro R9700 làm máy chủ AI văn phòng. Cấu hình này dự kiến phục vụ suy luận cục bộ cho các mô hình như DeepSeek V4 Flash và Qwen Flash thông qua kỹ thuật offload hoặc nén lượng tử hóa (quantization). Triển khai các mô hình ngôn ngữ lớn tại địa phương đòi hỏi dung lượng bộ nhớ đồ họa (VRAM) rất lớn, thúc đẩy sự quan tâm đến các cấu hình máy trạm đa GPU. Việc đánh giá dòng card máy trạm kiến trúc RDNA 4 của AMD giúp cộng đồng có thêm thông tin về các giải pháp thay thế cho phần cứng Nvidia để suy luận AI tối ưu chi phí. Mỗi card AMD Radeon AI Pro R9700 đi kèm với 32GB VRAM, mang lại tổng cộng 128GB bộ nhớ đồ họa cho hệ thống 4 card. Dung lượng này giúp việc vận hành các mô hình Mixture-of-Experts (MoE) lớn như DeepSeek V4 Flash trở nên khả thi khi kết hợp với nén lượng tử hóa sâu hoặc offload một phần giữa CPU và GPU.