Arena.ai Mời Người Dùng Thử Nghiệm Các Mô Hình AI Trên Benchmark Code Arena: WebDev
Arena.ai đã mời cộng đồng thử nghiệm các mô hình ngôn ngữ lớn trên công cụ đánh giá "Code Arena: WebDev" và xem bảng xếp hạng trực tiếp. Benchmark này cho phép người dùng so sánh các đoạn mã được tạo ra từ các mô hình ẩn danh để xếp hạng khả năng phát triển web của chúng. Việc đánh giá khả năng lập trình của AI trên các tác vụ frontend toàn diện là rất thách thức, và benchmark này cung cấp một bảng xếp hạng dạng Elo có sự tham gia của con người để phản ánh khả năng sử dụng thực tế. Nó giúp các nhà phát triển và nghiên cứu xác định mô hình LLM nào hoạt động tốt nhất trong việc tạo ra các ứng dụng web chức năng thay vì chỉ vượt qua các bài kiểm tra mã nguồn tĩnh. Benchmark này yêu cầu cụ thể các mô hình tạo ra một component React duy nhất bằng TypeScript được định dạng bằng Tailwind CSS dựa trên mô tả của người dùng. Bảng xếp hạng được tính toán bằng mô hình Bradley-Terry, tương tự như Chatbot Arena, dựa trên sự so sánh trực tiếp từ người dùng.
## KIẾN THỨC NỀN
Các benchmark lập trình truyền thống như SWE-bench tập trung vào việc sửa lỗi và sửa đổi mã nguồn có sẵn. Ngược lại, WebDev Arena (hiện là một phần của Code Arena) tập trung vào việc tạo giao diện frontend mới từ đầu, nơi người dùng mô tả một công cụ web nhỏ, hai mô hình ẩn danh sẽ tạo mã nguồn và người dùng sẽ bình chọn cho phiên bản tốt hơn.