Chatbot Arena ra mắt bảng xếp hạng Độ xác thực với Claude Opus 5 dẫn đầu
Chatbot Arena đã ra mắt bảng xếp hạng "Độ xác thực" (Factuality) mới nhằm tích hợp tính chính xác của thông tin vào xếp hạng mô hình, với Claude Opus 5 với Max reasoning giành vị trí dẫn đầu. Hệ thống này kiểm tra các trận đấu bằng cách lấy mẫu phản hồi, trích xuất các tuyên bố có thể xác minh và đối chiếu độ chính xác trực tiếp. Bản cập nhật này giải quyết một hạn chế lớn của các thước đo dựa trên sở thích của con người vốn dễ thiên vị các câu trả lời nghe có vẻ thuyết phục nhưng lại sai lệch, bằng cách đo lường trực tiếp độ chính xác thực tế. Nó cung cấp một số liệu đáng tin cậy hơn cho các nhà phát triển và người dùng yêu cầu đầu ra có độ chính xác cao từ các mô hình ngôn ngữ lớn. Bảng xếp hạng mới cho phép người dùng điều chỉnh tỷ lệ trọng số giữa xếp hạng dựa trên sở thích và độ chính xác thực tế theo thời gian thực. Quy trình đánh giá dựa trên việc kiểm tra các phản hồi được lấy mẫu để trích xuất và xác minh trực tiếp các tuyên bố.
## KIẾN THỨC NỀN
LMSYS Chatbot Arena là một nền tảng đo điểm chuẩn (benchmark) phổ biến giúp xếp hạng các mô hình ngôn ngữ lớn (LLM) bằng cách sử dụng các so sánh cặp ẩn danh từ cộng đồng và hệ thống xếp hạng Elo. Mặc dù hiệu quả trong việc đo lường sở thích của người dùng, phương pháp này trước đây gặp khó khăn trong việc xử lý hiện tượng ảo giác (hallucination), khi các mô hình tạo ra thông tin sai lệch với giọng điệu rất tự tin.