Các phòng thí nghiệm AI báo cáo điểm chuẩn cao hơn 6.4% so với kiểm định độc lập
Một phân tích dựa trên 611 phép so sánh giữa 180 mô hình AI cho thấy các phòng thí nghiệm công bố điểm chuẩn cao hơn trung bình 6.4% so với kết quả từ các bên kiểm định độc lập. Phát hiện này được đưa ra thông qua whatmodel.sh, một bảng xếp hạng AI mã nguồn mở chuyên đối chiếu các kết quả đã công bố. Sự chênh lệch này nêu bật các vấn đề tiềm ẩn về độ lệch hoặc báo cáo chọn lọc trong việc đánh giá trí tuệ nhân tạo, khiến người dùng gặp khó khăn trong việc đánh giá khách quan năng lực của mô hình. Điều này nhấn mạnh nhu cầu cấp thiết về việc xác minh độc lập và chuẩn hóa trong cộng đồng học máy. Phân tích đã ghép nối 1.629 kết quả điểm chuẩn đã công bố xuống còn 611 phép so sánh trực tiếp trên 103 bài kiểm tra khác nhau. Bộ dữ liệu và mã nguồn đi kèm hoàn toàn là mã nguồn mở theo giấy phép CC BY-SA 4.0 và MIT.
## KIẾN THỨC NỀN
Điểm chuẩn AI là các bài kiểm tra tiêu chuẩn dùng để đo lường và so sánh hiệu suất, tốc độ và độ chính xác của các mô hình học máy khác nhau. Do các nhà sáng tạo mô hình thường chạy những bài kiểm tra này trong các điều kiện tối ưu hoặc đặc thù, việc đánh giá độc lập thường được sử dụng để kiểm chứng các tuyên bố thực tế của họ.