Sự mơ hồ xoay quanh điểm benchmark và giấy phép của mô hình Agnes-3.0-Flash

Cộng đồng r/LocalLLaMA đã chỉ ra những bất nhất giữa trang lưu trữ bản xem trước của Agnes-3.0-Flash trên Hugging Face và bảng điểm của nó trên Artificial Analysis. Mặc dù mô hình đạt điểm benchmark cao, các thông tin mâu thuẫn về kích thước tham số, trạng thái bản quyền và phiên bản được đánh giá đang gây nhiều bối rối. Khi các nhà phát triển AI phụ thuộc lớn vào bảng xếp hạng benchmark độc lập để lựa chọn mô hình, tính minh minh bạch trong công bố thông tin và giấy phép là rất quan trọng. Sự bất nhất từ các phòng nghiên cứu mới nổi cho thấy thách thức người dùng gặp phải khi xác định liệu một mô hình là mở thực sự hay là dịch vụ độc quyền. Trên Artificial Analysis, Agnes-3.0-Flash đạt điểm 36 trên Chỉ số Trí tuệ (Intelligence Index) và được gắn nhãn độc quyền dù nhận đánh giá cao về độ mở. Trong khi đó, mô hình 33 tỷ tham số trên Hugging Face lại được ghi là bản 'Preview' và xác nhận rõ ràng rằng đây không phải là phiên bản đã được Artificial Analysis đánh giá.