Bảng xếp hạng Harness mới đánh giá các mô hình lập trình trên Terminal Bench 2.1 và Deep SWE 1.1
Một bài thảo luận trên Reddit làm nổi bật việc đánh giá hiệu năng của nhiều mô hình và tác nhân lập trình khác nhau—bao gồm Kimi Code, Hermes, Pi, Claude Code và Codex—khi được kiểm tra trên Terminal Bench 2.1 và Deep SWE 1.1. Các bộ chuẩn đánh giá chuẩn hóa như Terminal Bench và Deep SWE giúp các nhà phát triển và nghiên cứu so sánh một cách khách quan năng lực của các tác nhân và bộ khung (harness) lập trình AI trong các môi trường kỹ thuật phần mềm phức tạp. Đánh giá này tập trung vào các tác nhân lập trình hiện đại và mô hình nền tảng, mặc dù bài đăng ban đầu chủ yếu đóng vai trò dẫn tới bảng xếp hạng bên ngoài thay vì cung cấp phân tích sâu trực tiếp trong bài.
## KIẾN THỨC NỀN
Terminal Bench 2.1 đánh giá các tác nhân AI trên các tác vụ bao gồm kỹ thuật phần mềm, quản trị hệ thống và xử lý dữ liệu, trong khi Deep SWE 1.1 đánh giá các tác nhân trên các nhiệm vụ kỹ thuật phần mềm sử dụng các khung như mini-swe-agent. Các bộ chuẩn này nhằm đo lường khả năng viết mã và giải quyết vấn đề trong thế giới thực vượt ra ngoài việc tạo mã đơn giản.