Artificial Analysis v5 và bài toán khó trong việc đánh giá LLM
Artificial Analysis đã ra mắt phiên bản 5 của Chỉ số Thông minh (Intelligence Index), đánh dấu bản cập nhật quan trọng nhất kể từ tháng Giêng khi chuyển 60% chỉ số tổng hợp sang sử dụng các bộ kiểm tra riêng tư và câu hỏi giữ kín. Bản cập nhật này nhấn mạnh những thách thức và sự tiến hóa ngày càng tăng của ngành đánh giá AI, khi các nền tảng cố gắng ngăn chặn tình trạng tối ưu hóa mô hình và đo lường chính xác năng lực thực tế. Chỉ số v5 mới tổng hợp chín bài đánh giá thách thức về toán học, khoa học, lập trình và lý luận, đưa các mô hình như Claude Opus 5.5 của Anthropic lên vị trí dẫn đầu trong khi cho thấy các mô hình mã nguồn mở đang chậm lại.
## KIẾN THỨC NỀN
Đánh giá LLM là quá trình đo lường hiệu suất, độ chính xác và năng lực của các mô hình ngôn ngữ lớn thông qua các bài kiểm tra chuẩn hóa. Việc duy trì các tiêu chuẩn khách quan ngày càng trở nên khó khăn do tình trạng ô nhiễm dữ liệu, khi các mô hình vô tình được huấn luyện trên các câu hỏi kiểm tra.