Nhu cầu về các bộ đánh giá LLM đa dạng ngoài lập trình

Một cuộc thảo luận trong cộng đồng làm nổi bật sự thất vọng ngày càng tăng của người dùng trước sự thống trị của các bộ đánh giá LLM tập trung vào lập trình, đồng thời kêu gọi các bài đánh giá mới dành riêng cho viết lách sáng tạo, học ngoại ngữ và các lĩnh vực STEM chuyên sâu. Mặc dù các bộ đánh giá lập trình dễ tự động hóa hơn, chúng không phản ánh được hiệu suất của LLM trong các tác vụ sáng tạo, ngôn ngữ và suy luận phức tạp, điều này hạn chế khả năng lựa chọn mô hình tốt nhất của người dùng cho các ứng dụng phi kỹ thuật. Người dùng chỉ ra rằng mặc dù các bộ đánh giá như MMLU-Pro kiểm tra khả năng suy luận đa bước trên nhiều chủ đề khác nhau, vẫn còn thiếu các bộ đánh giá chuẩn hóa và mạnh mẽ cho việc học ngôn ngữ và viết lách sáng tạo.