Nghi vấn về sự khác biệt giữa bảng xếp hạng benchmark LLM và hiệu suất lập trình thực tế
Một người dùng Reddit đã chỉ ra sự khác biệt trong bảng xếp hạng của Artificial Analysis, đặt câu hỏi tại sao các mô hình như Gemma 4 lại xếp hạng cao hơn Qwen 3.6 27b trên benchmark SciCode mặc dù trải nghiệm lập trình thực tế lại khác biệt. Bài đăng cũng chi tiết hóa tỷ trọng cấu thành của Chỉ số Trí tuệ Artificial Analysis v4.1 (Artificial Analysis Intelligence Index v4.1), trong đó SciCode đóng góp 8% vào tổng điểm. Điều này nêu bật thách thức đang diễn ra trong việc đánh giá AI khi điểm số benchmark tổng hợp không phải lúc nào cũng đồng nhất với trải nghiệm thực tế của các lập trình viên. Việc hiểu rõ tỷ trọng cụ thể và các lĩnh vực trọng tâm của các chỉ số tổng hợp như của Artificial Analysis là rất quan trọng để các nhà phát triển lựa chọn mô hình phù hợp cho quy trình làm việc của họ. Chỉ số Trí tuệ Artificial Analysis v4.1 phụ thuộc vào nhiều benchmark khác nhau, trong đó GDPval-AA v2 (20%) và Terminal-Bench 2.1 (16%) chiếm tỷ trọng cao nhất, trong khi SciCode chỉ chiếm 8%. Bản thân SciCode là một benchmark lập trình do các nhà khoa học tuyển chọn, bao gồm 288 bài toán phụ thuộc 16 lĩnh vực khoa học khác nhau, điều này có thể ưu ái các mô hình có khả năng lập luận khoa học mạnh mẽ hơn là kỹ nghệ phần mềm thông thường.
## KIẾN THỨC NỀN
Các benchmark như SciCode đánh giá các mô hình ngôn ngữ lớn trong việc tạo mã nguồn cho các bài toán nghiên cứu khoa học thực tế thuộc các lĩnh vực vật lý, toán học, hóa học và sinh học. Artificial Analysis là một nền tảng độc lập tổng hợp các benchmark này thành một "Chỉ số Trí tuệ" (Intelligence Index) duy nhất để xếp hạng các LLM, nhưng các bảng xếp hạng này đôi khi có thể khác biệt so với cảm nhận thực tế của người dùng do tính chất đặc thù của các bài kiểm tra.