Nhu cầu về các bài đánh giá LLM dựa trên gỡ lỗi đa bước và lập trình dạng tác nhân

Một cuộc thảo luận trong cộng đồng nhà phát triển nêu bật sự không hài lòng ngày càng tăng đối với các bài đánh giá lập trình LLM "một lần" (one-shot) truyền thống, đồng thời kêu gọi các bài kiểm tra đánh giá khả năng gỡ lỗi đa bước, sửa đổi mã nguồn và phân tích đầu ra. Người dùng đang tìm kiếm các bài đánh giá yêu cầu mô hình sửa lỗi mã nguồn được thiết kế hỏng sẵn và phân tích tương tác đầu ra của chương trình, bao gồm cả dữ liệu hình ảnh. Mặc dù các bài đánh giá tạo mã nguồn một lần như HumanEval rất phổ biến, chúng không phản ánh đúng thực tế kỹ nghệ phần mềm vốn liên quan nhiều đến việc gỡ lỗi và cải tiến lặp đi lặp lại. Việc chuyển hướng tập trung sang các bài đánh giá đa bước dạng tác nhân (agentic) như SWE-bench hay A-CODE-LLM Bench giúp đánh giá chính xác hơn hiệu suất của LLM dưới vai trò trợ lý lập trình thực tế trong các kho mã nguồn phức tạp. Các bài đánh giá dạng tác nhân hiện tại như SWE-bench đánh giá LLM dựa trên việc giải quyết các sự cố thực tế trên GitHub, trong khi các khung kiểm thử mới hơn như A-CODE-LLM Bench kiểm tra mô hình qua nhiều bước xác thực tự động bằng công cụ CLI. Tuy nhiên, việc chạy các bài đánh giá đa bước phức tạp này trên máy cục bộ vẫn là một thách thức đối với các nhà phát triển cá nhân do yêu cầu tài nguyên cao.