Cảnh báo về điểm số benchmark AI: Khung chạy tùy chỉnh và đột phá thực sự

Một bài thảo luận trong cộng đồng công nghệ chỉ ra rằng các tuyên bố chưa xác minh về điểm số benchmark cao, như 98,6% trên ARC-AGI-3, thường dựa vào các khung điều khiển (harness) tùy chỉnh hơn là các mô hình AI nền tảng mới. Ví dụ, Nvidia đã đạt điểm 100% trên ARC-AGI-3 bằng cách sử dụng khung AVO tùy chỉnh bao bọc các mô hình hiện có như Claude Opus 5 chứ không phải một mô hình cơ sở mới. Sự phân biệt này nhấn mạnh một sự thay đổi trong việc đánh giá AI, nơi hiệu suất cao ngày càng được quyết định bởi phần khung agent bao quanh hơn là năng lực cốt lõi của mô hình. Việc hiểu cách hoạt động của các khung đánh giá là vô cùng quan trọng để đánh giá chính xác xem sự tiến bộ của AI đến từ khả năng suy luận thực sự hay từ các kỹ thuật dựng phần mềm. Hệ thống Agentic Variation Operators (AVO) của Nvidia hoạt động như một khung giám sát giúp duy trì trạng thái, quản lý ngữ cảnh và tự sửa lỗi trong các nhiệm vụ kéo dài. Vì các khung đánh giá tùy chỉnh thay đổi cách xử lý ngữ cảnh và vòng lặp phản hồi, kết quả thu được từ chúng không thể so sánh trực tiếp với các bài đánh giá benchmark tiêu chuẩn.