Infercat Cho Phép Chia Sẻ Mô Hình AI Cục Bộ Qua Kết Nối P2P Mã Hóa

Một nhà phát triển đã giới thiệu Infercat, một công cụ cổng dịch vụ và đường truyền mã nguồn mở cho phép chia sẻ quyền truy cập các mô hình AI cục bộ qua kết nối P2P mã hóa đầu-cuối bằng mã mời đơn giản. Công cụ này tự động tích hợp với các bộ công cụ suy luận phổ biến như Ollama, llama.cpp, vLLM và LM Studio. Việc vận hành các mô hình AI cục bộ thường bị giới hạn trong mạng nội bộ trừ khi người dùng thiết lập VPN hoặc chuyển tiếp cổng phức tạp, khiến họ phải quay lại dùng các dịch vụ đám mây thương mại. Infercat giải quyết vấn đề này bằng cách biến phần cứng cá nhân thành các đám mây nhỏ riêng tư và dễ quản lý từ xa. Được xây dựng trên thư viện tailcat của Tailscale cho mạng P2P, Infercat cung cấp API tương thích với OpenAI hỗ trợ các đường dẫn `/v1/chat/completions`, `/v1/models` và `/v1/embeddings`, đồng thời cung cấp tính năng quản lý truy cập như giới hạn lượng token, danh sách mô hình cho phép và thu hồi khóa. Người dùng web có thể trò chuyện trực tiếp mà không cần cài đặt phần mềm, trong khi lệnh CLI hỗ trợ định tuyến cục bộ cho các ứng dụng như Open WebUI, Cursor hoặc Claude Code.