Agent Arena Đánh giá Mô hình AI qua các Tác vụ Dài hạn Thực tế

Agent Arena đã chi tiết hóa phương pháp đo lường hiệu suất mô hình AI, đánh giá các mô hình thông qua hàng triệu tác vụ tự trị dài hạn trong thế giới thực. Các bài đánh giá này kiểm tra khả năng điều phối công cụ của mô hình như tìm kiếm web, hệ thống tệp và truy cập terminal để hoàn thành các quy trình phức tạp. Khi các tác nhân AI chuyển dịch từ giao diện trò chuyện đơn giản sang các hệ thống tự trị, các bài kiểm tra hiệu năng (benchmark) cần phải phát triển để đo lường khả năng lập kế hoạch dài hạn và sử dụng công cụ. Agent Arena cung cấp một bảng xếp hạng động, thực tế phản ánh cách các mô hình hoạt động trong môi trường tự trị thực tế thay vì các bài kiểm tra học thuật tĩnh. Bảng xếp hạng đánh giá các mô hình dựa trên các chỉ số như độ tin cậy của công cụ, mức độ hoàn thành tác vụ, khả năng điều hướng (steerability) và cải tiến ròng tổng thể trong các phiên Chế độ Tác nhân (Agent Mode). Nó cũng cung cấp góc nhìn về hiệu quả chi phí bằng cách liên kết cấu hình lập luận với chi phí trung vị cho mỗi phiên.