Nhà phát triển dựng dàn PC 256GB VRAM giá 2.800 USD bằng GPU Radeon Pro V620 cùng bản fork vLLM tùy chỉnh

Một nhà phát triển đã dựng một hệ thống máy chủ suy luận LLM sở hữu 256 GB VRAM với chi phí khoảng 2.800 USD sử dụng 8 card đồ họa doanh nghiệp AMD Radeon Pro V620. Nhờ viết các kernel RDNA2 tùy chỉnh cho bản fork vLLM, hệ thống đạt tốc độ prefill hơn 3.000 token/giây và tốc độ decode từ 60–100 token/giây trên các mô hình ngôn ngữ lớn. Các cấu hình VRAM dung lượng lớn cần thiết để chạy local các mô hình LLM nguồn mở thường có chi phí rất đắt đỏ. Dự án này chứng minh rằng phần cứng máy chủ chơi game đám mây thế hệ cũ hoàn toàn có thể đạt hiệu năng suy luận hàng đầu khi được tối ưu hóa bằng phần mềm phù hợp. Hệ thống chạy vLLM với cơ chế Song song theo chuỗi (Pipeline Parallelism, PP=4) không dùng Song song trên tensor, áp dụng định dạng lượng hóa W4A16 cho các routed expert và giữ nguyên BF16 cho các lớp còn lại. Tốc độ đã tăng hơn 800% so với llama.cpp, vốn gặp hạn chế về tốc độ prefill chậm (350–450 t/s) và thiếu khả năng xử lý đồng thời trên phần cứng này.