Thảo luận phỏng đoán về điểm chuẩn của mô hình DeepSeek-V4.1-Flash-1017

Một bài đăng trên Reddit thảo luận về sự khác biệt điểm chuẩn của một phiên bản mô hình giả định có tên DeepSeek-V4.1-Flash-1017 trên các khung kiểm thử khác nhau như Terminal-bench 4.0. Bài đăng so sánh điểm số được báo cáo từ thẻ mô hình với các số liệu từ AA và chỉ số Vals. Bài viết làm nổi bật cách các khung kiểm thử, hiệu năng phần cứng và phương pháp đánh giá có thể làm thay đổi đáng kể kết quả chuẩn của mô hình AI. Việc hiểu rõ những biến động này giúp các nhà nghiên cứu đánh giá một cách khách quan các tuyên bố về các mô hình ngôn ngữ lớn tiên tiến. Thẻ mô hình báo cáo điểm số 42.3% trên Terminal-bench 4.0 khi sử dụng khung Claude Code, trong khi AA và chỉ số Vals báo cáo điểm thấp hơn lần lượt là 34% và 31.82%, có thể do sử dụng các khung thay thế như mini-swe-agent. Cuộc thảo luận cũng lưu ý rằng các hạn chế về phần cứng và tốc độ xử lý token có thể làm lệch kết quả chuẩn.