NVIDIA Ra Mắt PAIR Mở Nguồn Giúp Điều Phối Suy Luận AI Trên Nhiều Thiết Bị Cục Bộ
NVIDIA đã phát hành Personal AI Router (PAIR), một công cụ mã nguồn mở giúp điều phối và định tuyến các yêu cầu suy luận AI cục bộ qua các thiết bị trong mạng LAN như Mac Apple Silicon, PC RTX và hệ thống DGX Spark. Công cụ này đóng vai trò như bộ điều phối luồng tập trung, cung cấp các điểm cuối API tương thích với OpenAI và Ollama để ứng dụng AI tự động phân chia công việc sang các máy tính rảnh rỗi. PAIR cho phép người dùng dễ dàng biến các thiết bị phần cứng không đồng nhất thành một cụm AI cá nhân riêng tư mà không cần gửi dữ liệu nhạy cảm lên máy chủ đám mây. Điều này giúp cải thiện đáng kể tốc độ xử lý các quy trình làm việc đa tác tử (multi-agent) và các tác vụ LLM đồng thời bằng cách tận dụng tối đa năng lực tính toán sẵn có trong mạng nội bộ. PAIR định tuyến các yêu cầu độc lập chạy đồng thời sang các máy khác nhau chứ không chia nhỏ một câu trả lời duy nhất để xử lý song song, do đó tốc độ của một truy vấn đơn lẻ sẽ không thay đổi. Trong thử nghiệm với 5 tác vụ của tác tử con, việc chia sẻ tải giữa laptop RTX, DGX Spark và RTX 5090 đã giảm tổng thời gian hoàn thành từ 18 phút xuống còn 8 phút 48 giây.
## KIẾN THỨC NỀN
Chạy các mô hình ngôn ngữ lớn (LLM) cục bộ thông qua các công cụ như Ollama hoặc LM Studio giúp các nhà phát triển giữ riêng tư hoàn toàn cho dữ liệu và mã nguồn. Tuy nhiên, khi các quy trình làm việc đa tác tử (multi-agent) ngày càng phổ biến với nhiều trợ lý AI cùng làm việc đồng thời, một máy tính đơn lẻ rất dễ rơi vào tình trạng quá tải. Các công cụ suy luận cục bộ truyền thống thường chỉ hoạt động độc lập trên từng máy, khiến việc tận dụng sức mạnh tính toán rảnh rỗi từ các máy tính khác trong cùng mạng gia đình hoặc văn phòng gặp nhiều khó khăn.