Thảo luận về Ernie 5.5 Flash Preview và chỉ số đánh giá lập trình tự trị
Một cuộc thảo luận trên cộng đồng LocalLLaMA giới thiệu mô hình Ernie 5.5 Flash Preview, nhấn mạnh hiệu suất mạnh mẽ của nó với tổng số 280 tỷ tham số và 14 tỷ tham số hoạt động. Bài viết cũng chi tiết hóa một chỉ số tổng hợp gồm 12 tiêu chuẩn đánh giá dành riêng cho lập trình tự trị và kỹ thuật phần mềm. Chỉ số đánh giá chuyên biệt này khắc phục các hạn chế của bảng xếp hạng truyền thống bằng cách tập trung hoàn toàn vào kỹ thuật phần mềm thay vì các tác vụ chung chung. Điều này cung cấp cho các nhà phát triển một cái nhìn chính xác hơn nhiều về năng lực lập trình thực tế của mô hình AI. Chỉ số tổng hợp gồm 12 tiêu chuẩn này phân bổ trọng số cụ thể cho các bài kiểm tra khác nhau, bao gồm Terminal-Bench v4.0 chiếm 16%, DeepSWE v1.1 chiếm 15% và FrontierCode 2.0 chiếm 11%. Các tiêu chuẩn khác được bao gồm có Code Migration, SRE-Bench và SWE-bench Pro.
## KIẾN THỨC NỀN
SWE-bench Pro là một chuẩn đánh giá nâng cao do Scale AI thiết kế, bao gồm hàng nghìn tác vụ trên nhiều kho lưu trữ nhằm đo lường năng lực kỹ thuật phần mềm thực tế. Terminal-Bench là một bộ chuẩn mã nguồn mở dùng để đánh giá các tác nhân AI trong việc hoàn thành các nhiệm vụ phức tạp tại môi trường dòng lệnh.