Đánh Giá Cho Thấy Khung Điều Hành Ảnh Hưởng Tới Hiệu Năng LLM Cục Bộ Tương Đương Mô Hình

Một nhà phát triển đã ra mắt airbench.ai, bảng xếp hạng đánh giá cộng đồng đo lường sự kết hợp giữa mô hình LLM cục bộ, định dạng lượng hóa và khung điều hành tác vụ (harness) trên các bài kiểm tra lập trình, thị giác và sử dụng máy tính. Kết quả cho thấy các cấu hình cục bộ được tối ưu hóa có thể đạt hiệu năng ngang ngửa mô hình đám mây thương mại như Claude Code Opus 5.5, thậm chí một số cấu hình còn hoàn thành tác vụ nhanh hơn. Kết quả cho thấy khung điều hành tác vụ (harness)—hạ tầng phần mềm quản lý câu lệnh, gọi công cụ và vòng lặp thực thi—có thể khiến tỷ lệ thành công của cùng một mô hình dao động từ 22% đến 96% trên cùng một phần cứng. Điều này chứng minh rằng việc tối ưu hóa hạ tầng đại lý (agent scaffolding) quan trọng không kém kích thước hay kiến trúc mô hình khi triển khai đại lý AI cục bộ. Qua các thử nghiệm trên một card đồ họa RTX 5090, `opencode` và `omp` là những khung điều hành đáng tin cậy nhất khi duy trì độ chính xác trên 85% ở nhiều mô hình, trong khi `swift-1.5-qwen3.8-27b-q6_k` là mô hình ổn định nhất. Ngược lại, các biến thể Dự đoán Đa thẻ (Multi-Token Prediction - MTP) và việc mở rộng cửa sổ ngữ cảnh lên 65k liên tục làm giảm điểm số hiệu năng trên hầu hết cấu hình.