Google và Artificial Analysis ra mắt hệ thống đánh giá MKA cho tác nhân AI đa phương thức
Google đã hợp tác với Artificial Analysis để giới thiệu bài kiểm tra đánh giá tác nhân tri thức đa phương thức MKA (Multimodal Knowledge Agent), được thiết kế để đánh giá các tác nhân AI trong việc xử lý các nhiệm vụ công việc tri thức phức tạp trong thế giới thực. Mẫu Gemini 4 Carbon của Google đã giành vị trí thứ hai trong bài kiểm tra này với chi phí hoàn thành nhiệm vụ thấp hơn khoảng sáu lần so với mô hình đứng thứ nhất. Bài kiểm tra này chuyển hướng việc đánh giá AI từ các tác vụ chỉ thuần văn bản sang các quy trình làm việc chuyên nghiệp thực tế, có độ phức tạp cao về mặt hình ảnh, đòi hỏi khả năng suy luận qua nhiều bước và loại tệp khác nhau. Điều này làm nổi bật một xu hướng quan trọng của ngành công nghiệp: cân bằng giữa hiệu suất cao và chi phí hiệu quả cho các tác nhân tự động cấp độ doanh nghiệp. Bài kiểm tra MKA bao gồm 200 nhiệm vụ riêng tư trải dài trên 10 ngành nghề và 83 lĩnh vực nghề nghiệp, chạy trên một khung tác nhân mã nguồn mở chuẩn hóa có tên là Stirrup. Việc đánh giá được thực hiện thông qua một hệ thống giám khảo tự động kiểm tra các tệp và xác minh kết quả dựa trên các tiêu chí chấm điểm do chuyên gia xây dựng.
## KIẾN THỨC NỀN
Tác nhân AI đa phương thức là các hệ thống phần mềm tự động có khả năng xử lý và suy luận trên nhiều dạng dữ liệu khác nhau—như văn bản, hình ảnh và bảng tính có cấu trúc—để thực hiện các quy trình làm việc phức tạp. Việc đánh giá các tác nhân này đòi hỏi phải kiểm tra khả năng xử lý các dự án chuyên môn nhiều bước mà thông thường các chuyên gia con người phải mất hàng giờ để hoàn thành.