Tận dụng APU đào coin BC-250 giá rẻ cho hệ thống AI cục bộ tiết kiệm chi phí
Một nhà phát triển đã tự dựng hệ thống AI cục bộ giá rẻ khoảng 300 USD bằng cách kết hợp hai bo mạch APU đào tiền mã hóa AMD BC-250 cũ thông qua tính năng RPC và driver Vulkan của llama.cpp. Cấu hình hai APU này đạt tốc độ suy luận 60 token/giây trên mô hình Qwen 35 tỷ tham số với cửa sổ ngữ cảnh 64k. Thử nghiệm này cho thấy một giải pháp phần cứng cực kỳ tiết kiệm chi phí cho người dùng AI cục bộ, chứng minh rằng phần cứng đào tiền mã hóa dư thừa có thể được tái sử dụng hiệu quả cho các tác vụ AI. Nó chứng minh cách suy luận phân tán bằng RPC của llama.cpp giúp mở rộng phần cứng trên nhiều nút qua mạng Ethernet gigabit tiêu chuẩn mà không cần GPU doanh nghiệp đắt tiền. Bo mạch AMD BC-250 sử dụng chip APU cắt giảm từ PlayStation 5, có giá khoảng 115 USD mỗi bo và cung cấp tổng cộng khoảng 27GB VRAM giữa hai thiết bị. Hoạt động trên hệ điều hành Bazzite, hệ thống phân chia các lớp mô hình giữa hai APU kết nối thông qua mạng 1 Gbps thông thường.
## KIẾN THỨC NỀN
AMD BC-250 là bo mạch đào coin chuyên dụng được sản xuất từ vi mạch PlayStation 5 cắt giảm (mã hiệu 'Oberon'), xuất hiện nhiều trên thị trường thanh lý sau thời kỳ bùng nổ tiền mã hóa. Trong khi đó, llama.cpp là công cụ suy luận LLM mã nguồn mở phổ biến hỗ trợ tính năng RPC (Remote Procedure Call), cho phép phân chia các phép tính mô hình tốn bộ nhớ trên nhiều thiết bị kết nối qua mạng.