Artificial Analysis phát hành bản cập nhật lớn Intelligence Index v5
Artificial Analysis vừa phát hành Intelligence Index v5, một bản cập nhật chuẩn mực lớn tổng hợp chín đánh giá thách thức để đo lường năng lực trí tuệ nhân tạo. Bản cập nhật này làm nới rộng đáng kể khoảng cách hiệu suất giữa các mô hình mã nguồn mở trọng số và các mô hình độc quyền khép kín. Bản cập nhật này làm thay đổi nhận thức về khoảng cách giữa các mô hình trọng số mở và mô hình độc quyền trong ngành công nghiệp AI, ảnh hưởng đến cách các nhà phát triển và doanh nghiệp lựa chọn LLM. Tuy nhiên, phương pháp luận của nó đã dấy lên tranh cãi về khả năng tái tạo và độ chính xác. Phiên bản v5 dựa vào các tập dữ liệu kiểm tra riêng tư hoặc câu trả lời được giữ kín cho 60% chỉ số, khiến cho việc tái tạo kết quả một cách độc lập trở nên bất khả thi. Báo cáo cho biết khoảng cách đối với các trọng số mở đã nới rộng từ 3 điểm lên 12 điểm.
## KIẾN THỨC NỀN
Artificial Analysis là một tổ chức đánh giá chuẩn AI độc lập, tổng hợp nhiều chỉ số hiệu suất khác nhau thành các điểm số tổng hợp. Các mô hình trọng số mở là những mô hình AI có trọng số tham số đã qua huấn luyện được công khai công cộng, dù không phải lúc nào cũng hoàn toàn là mã nguồn mở.