SafeAgents: Proxy mã nguồn mở giúp kiểm tra các lệnh gọi công cụ của tác nhân lập trình

SafeAgents là một proxy cục bộ mã nguồn mở mới, có chức năng chặn, kiểm tra và xác thực mọi lệnh gọi công cụ do tác nhân lập trình (coding agent) thực hiện trước khi chạy. Nó đóng vai trò là trung gian giữa tác nhân lập trình và máy chủ mô hình, sử dụng các bước kiểm tra cục bộ và bộ dò quyết định để chặn các hành vi trái phép. Dự án này giải quyết một lỗ hổng bảo mật quan trọng trong kỹ thuật AI bằng cách ngăn chặn các tác nhân lập trình tự động thực hiện các lệnh gọi công cụ độc hại, tìm cách vượt qua mạng hoặc gian lận phần thưởng. Nó cho phép các nhà phát triển chạy và đánh giá các tác nhân một cách an toàn mà không làm hệ thống của họ đối mặt với các sửa đổi bất ngờ. Mỗi lệnh gọi công cụ trải qua tối đa ba bước xác thực cục bộ, bao gồm kiểm tra định dạng, xác minh máy chủ và atif-scan chạy khoảng 110 bộ dò quyết định ngay trong tiến trình. Ngoài ra, nhà phát triển có thể tùy chọn cấu hình mô hình trọng tài tương thích với OpenAI để đánh giá các phát hiện nhẹ hơn và thêm các máy chủ đáng tin cậy thông qua cờ dòng lệnh.