ARC 1.0: Mô hình quyết định mã nguồn mở để điều phối các tác nhân AI
ARC 1.0 đã được phát hành dưới dạng bộ điều khiển định tuyến thích ứng mã nguồn mở 0.6B theo giấy phép Apache 2.0 để giúp các ứng dụng AI chọn mô hình tối ưu và mức độ suy luận phù hợp. Công cụ này phân tích lịch sử hội thoại để tạo ra các tín hiệu điều phối mà ứng dụng có thể kết hợp cùng các ràng buộc về chi phí và chính sách. Công cụ này giải quyết một nút thắt quan trọng về tối ưu hóa chi phí và hiệu suất trong việc triển khai mô hình ngôn ngữ lớn cục bộ bằng cách cân bằng động khối lượng công việc giữa các mô hình đám mây đắt đỏ và các lựa chọn thay thế cục bộ tiết kiệm hơn. Nó cung cấp cho các nhà phát triển quyền kiểm soát chi tiết đối với chi phí thực thi của kiến trúc đa tác nhân. ARC 1.0 là một mô hình 0.6B tham số nhỏ gọn được phân phối theo giấy phép mã nguồn mở Apache 2.0 linh hoạt. Nó hoạt động bằng cách đọc đoạn hội thoại của tác nhân đang diễn ra và xuất ra các tín hiệu cụ thể nhằm định hướng cho việc lựa chọn mô hình và nỗ lực suy luận tiếp theo.
## KIẾN THỨC NỀN
Định tuyến mô hình trong AI là phương pháp điều hướng linh hoạt các truy vấn khác nhau đến các phiên bản mô hình ngôn ngữ lớn tùy theo độ phức tạp của tác vụ, giúp cân bằng chi phí vận hành với nhu cầu hiệu suất. Các mô hình ngôn ngữ lớn cục bộ chạy trực tiếp trên phần cứng của người dùng, mang lại sự riêng tư và chi phí API trên mỗi token bằng 0, trong khi các mô hình đám mây cung cấp năng lực suy luận vượt trội với chi phí tài chính cao hơn.