BrokenML: Bộ tiêu chuẩn mới đánh giá tác nhân AI trong việc khắc phục lỗi học máy

Một nhà phát triển đã giới thiệu BrokenML, một công cụ đo lường chuẩn mực mới được thiết kế để đánh giá hiệu quả của các tác nhân AI trong việc khắc phục các khối lượng công việc học máy bị lỗi trên các mức truy cập cụm khác nhau. Bộ chuẩn mực kiểm tra các tác nhân trong các tình huống như PyTorch chạy trên Gloo hoặc cài đặt máy chủ llama.cpp, sử dụng một trình xác minh riêng biệt để chạy lại các công việc trên các cụm máy mới. Bộ chuẩn mực này giải quyết một vấn đề thực tế và quan trọng trong MLOps và AI có tính tác nhân bằng cách kiểm tra xem các tác nhân tự động có thể xử lý các lỗi cơ sở hạ tầng phức tạp trong thế giới thực hay không. Nó làm nổi bật khoảng cách năng lực hiện tại giữa các mô hình mã nguồn mở và độc quyền, đặc biệt là về khả năng thực hiện các tác vụ gỡ lỗi chỉ dựa vào tệp cấu hình và mã nguồn. Bộ chuẩn mực bao gồm các lỗi phổ biến như không khớp kích thước tensor, các tập hợp bị treo, nút chậm trễ, lỗi tràn bộ nhớ (OOM), và sự phân kỳ mất mát ẩn, được đánh giá qua ba mức truy cập cụm. Các hạn chế hiện tại bao gồm việc sử dụng CPU thay vì GPU trên Gloo và giới hạn kiểm tra ở mức một lần chạy cho mỗi tác vụ trên mỗi mô hình.