Kho lưu trữ GitHub freellmapi thịnh hành nhờ tích hợp 34 nhà cung cấp LLM miễn phí
Kho lưu trữ mã nguồn mở TypeScript tashfeenahmed/freellmapi đã thu hút sự chú ý lớn khi đạt hơn 3.000 ngôi sao trên GitHub chỉ trong một tuần. Dự án này tổng hợp 34 nhà cung cấp LLM miễn phí và 635 endpoint của các mô hình vào một API duy nhất tương thích với OpenAI. Công cụ này giúp các nhà phát triển dễ dàng thử nghiệm nhiều mô hình ngôn ngữ lớn khác nhau mà không cần quản lý nhiều khóa API hoặc trả chi phí cao. Bằng cách cung cấp tính năng định tuyến thông minh và tự động chuyển đổi dự phòng (failover), nó đảm bảo tính sẵn sàng cao cho các dự án cá nhân. Dự án hỗ trợ tối đa 7,4 tỷ token mỗi tháng và tích hợp tính năng mã hóa khóa, nhưng được khuyến cáo chỉ sử dụng cho mục đích thử nghiệm cá nhân. Nó cung cấp một endpoint /v1 duy nhất giúp dễ dàng thay thế các tích hợp API OpenAI hiện có.
## KIẾN THỨC NỀN
Một cổng kết nối API LLM (LLM API gateway) đóng vai trò như một lớp trung gian định tuyến các yêu cầu đến nhiều nhà cung cấp mô hình AI khác nhau, giúp đơn giản hóa việc quản lý đa mô hình. Một API tương thích với OpenAI sẽ mô phỏng các quy ước chuẩn của API OpenAI, cho phép các nhà phát triển chuyển đổi nhà cung cấp backend chỉ bằng cách thay đổi vài dòng mã cấu hình.