Arena Ra Mắt AutoEval Để Xếp Hạng LLM Bằng Mô Hình Phần Thưởng
Arena đã ra mắt AutoEval, một phương pháp đánh giá mới giúp xếp hạng các mô hình ngôn ngữ lớn (LLM) bằng cách sử dụng các mô hình phần thưởng (reward models) được huấn luyện trên hàng triệu tùy chọn thực tế của người dùng. Hệ thống này cung cấp các tín hiệu đánh giá chất lượng cao và có độ tương thích chặt chẽ với các đánh giá trực tiếp từ con người. Việc đánh giá LLM truyền thống thường phụ thuộc vào người chấm điểm thực tế vốn tốn kém hoặc các bài kiểm tra tĩnh dễ bị lỗi thời. AutoEval tự động hóa quy trình này trong khi vẫn duy trì sự tương thích mạnh mẽ với sở thích thực tế của con người, giúp việc đánh giá LLM trở nên nhanh hơn, rẻ hơn và dễ mở rộng quy mô hơn. Phương pháp này tận dụng các mô hình phần thưởng được hiệu chuẩn trực tiếp từ hàng triệu điểm dữ liệu về sở thích của người dùng được thu thập từ LMSYS Chatbot Arena. Hướng tiếp cận này nhằm thu hẹp khoảng cách giữa các hệ thống tự động "LLM làm giám khảo" và đánh giá thực tế của con người.
## KIẾN THỨC NỀN
LMSYS Chatbot Arena là một nền tảng đánh giá phổ biến, nơi người dùng trò chuyện với hai LLM ẩn danh và bỏ phiếu cho câu trả lời tốt hơn. Các mô hình phần thưởng (reward models) là các mô hình học máy được huấn luyện trên dữ liệu sở thích của con người như vậy, thường được sử dụng trong Học tăng cường từ phản hồi của con người (RLHF) để điều chỉnh hành vi của AI theo các giá trị của con người.