Dư luận nghi vấn việc Artificial Analysis liên tục thay đổi phương pháp đánh giá LLM
Một người dùng trên Reddit đã chỉ ra rằng đơn vị đánh giá AI Artificial Analysis đã thay đổi phương pháp kiểm thử của họ hai lần chỉ trong một tuần. Các bản cập nhật được cho là bao gồm việc tăng trọng số của các tập kiểm thử riêng tư trong đánh giá mô hình tổng thể. Bảng xếp hạng Artificial Analysis được các nhà phát triển và doanh nghiệp sử dụng rộng rãi để đánh giá năng lực mô hình AI. Việc thay đổi phương pháp tính điểm thường xuyên và phụ thuộc nhiều hơn vào các bài kiểm tra không công khai có thể làm phức tạp việc xác minh độc lập và đặt ra nghi vấn về tính minh bạch. Các bộ kiểm thử riêng tư giúp giảm thiểu tình trạng nhiễm dữ liệu (contamination), đảm bảo mô hình không thể gian lận bằng cách học thuộc các câu hỏi công khai. Tuy nhiên, việc tăng mạnh trọng số của các bài đánh giá riêng tư khiến các nhà nghiên cứu bên ngoài gần như không thể tái tạo hoặc kiểm toán độc lập các biến động điểm số.
## KIẾN THỨC NỀN
Artificial Analysis là một nền tảng độc lập chuyên tổng hợp các bài đánh giá benchmark chuẩn, độ trễ và chi phí vận hành cho các mô hình ngôn ngữ lớn. Việc đánh giá LLM rất phức tạp do các bộ dữ liệu công khai thường vô tình bị đưa vào tập dữ liệu huấn luyện, buộc các đơn vị đánh giá phải xây dựng thêm các bộ kiểm thử riêng tư.