Bộ đánh giá MobileWorld thử nghiệm đại lý VLM tự động trên di động qua MCP và tương tác người dùng

Một bài tổng quan giới thiệu MobileWorld, bộ đánh giá mới được thiết kế để kiểm thử các đại lý mô hình ngôn ngữ thị giác (VLM) tự động trên di động qua 201 nhiệm vụ thực tế trên khoảng 20 ứng dụng. Bộ đánh giá này bổ sung hai trục thử nghiệm chính: nhiệm vụ tương tác yêu cầu đại lý hỏi người dùng khi thiếu thông tin và nhiệm vụ tích hợp các công cụ Model Context Protocol (MCP) để lấy dữ liệu trực tiếp qua API. Đánh giá đại lý AI dựa trên khả năng hội thoại tương tác và tích hợp công cụ trực tiếp phản ánh chính xác hơn việc sử dụng smartphone trong thực tế thay vì chỉ dừng lại ở thao tác chạm màn hình đơn thuần. Khi AI trên thiết bị di động tiến tới tự động hóa các tác vụ phức tạp, MobileWorld tạo ra một tiêu chuẩn nghiêm ngặt hơn giúp làm rõ những hạn chế hiện tại trong suy luận đa thức và sử dụng công cụ kết hợp. MobileWorld sử dụng kiến trúc lập kế hoạch - thực thi (planner-executor), trong đó VLM lập kế hoạch chỉ dựa trên ảnh chụp màn hình (không dùng cây accessibility) để xuất lệnh văn bản, sau đó mô hình định vị như UI-Inst-7B sẽ chuyển đổi thành tọa độ màn hình (x,y) chính xác. Sự kết hợp hiệu quả nhất giữa Gemini-Pro và UI-Inst-7B chỉ đạt tỷ lệ thành công trung bình khoảng 52%, và giảm mạnh ở các nhiệm vụ yêu cầu tương tác với người dùng hoặc gọi công cụ MCP.