LMSYS Chatbot Arena Công Bố Phương Pháp Tính Điểm AutoEval Mới
LMSYS Chatbot Arena đã công bố phương pháp và thông tin chi tiết đằng sau hệ thống tính điểm AutoEval mới của mình. Hệ thống này giới thiệu các chỉ số đánh giá tự động nhằm bổ sung cho dữ liệu so sánh dựa trên bình chọn của người dùng. Vì Chatbot Arena là tiêu chuẩn của ngành trong việc đánh giá hiệu năng LLM, việc giới thiệu phương pháp AutoEval minh bạch giúp các nhà nghiên cứu hiểu rõ cách các đánh giá tự động tương thích với sở thích của con người. Điều này có thể giúp mở rộng quy mô thử nghiệm LLM bằng cách giảm bớt sự phụ thuộc duy nhất vào bình chọn thủ công từ con người. Hệ thống AutoEval tận dụng các kỹ thuật đánh giá tự động, chẳng hạn như sử dụng LLM làm giám khảo (LLM-as-a-judge), để mở rộng quy mô đánh giá khách quan. Tài liệu chi tiết và tiêu chí tính điểm đã được chia sẻ trên blog của LMSYS để đảm bảo tính minh bạch.
## KIẾN THỨC NỀN
LMSYS Chatbot Arena là một nền tảng đánh giá hiệu năng phổ biến dành cho các mô hình ngôn ngữ lớn (LLM), sử dụng các trận đấu ngẫu nhiên và ẩn danh để thu thập phiếu bầu chọn từ con người. Theo truyền thống, việc đánh giá LLM phụ thuộc nhiều vào các so sánh thủ công này, vốn có độ chính xác cao nhưng khó mở rộng quy mô nhanh chóng. Các khung đánh giá tự động (AutoEval) hướng tới việc tự động hóa quy trình này bằng cách sử dụng chính LLM hoặc các phép đo thống kê để chấm điểm đầu ra của mô hình, kết hợp tốc độ tự động hóa với khả năng đánh giá chi tiết của con người.