Chỉ số Artificial Analysis v5.0 gây tranh cãi về vị trí của các mô hình mở

Một người dùng trên chuyên mục LocalLLaMA của Reddit đã chỉ ra rằng chỉ số v5.0 của Artificial Analysis không đặt bất kỳ mô hình trọng số mở nào vào 'Phần tư hấp dẫn nhất' của họ. Bài đăng nhấn mạnh sự tương phản rõ rệt với các phiên bản trước, vốn từng đánh giá các mô hình mở hàng đầu từ các nhà phát triển như DeepSeek, GLM, Kimi và Qwen là có tính cạnh tranh cao. Quan sát này châm ngòi cho các cuộc thảo luận trong cộng đồng AI cục bộ về khả năng thiên vị trong các nền tảng đánh giá lớn đối với các mô hình trọng số mở. Nó ảnh hưởng đến cách các lập trình viên nhìn nhận các bảng xếp hạng độc lập khi so sánh các API độc quyền với các giải pháp tự lưu trữ. Người dùng lưu ý rằng ngay cả sau khi tính đến việc cập nhật điểm số liên tục hoặc các điểm bất thường về bộ lọc, các mô hình trọng số mở vẫn không đạt được đường hiệu suất Pareto trong bố cục phần tư mới. Họ đã cung cấp một liên kết tùy chỉnh có nhiều mô hình lớn khác nhau để minh họa các thông số đang thay đổi của điểm chuẩn.