Alibaba ra mắt Qwen-UI-Agent hỗ trợ tự động hóa giao diện đa nền tảng
Alibaba đã chính thức ra mắt Qwen-UI-Agent, một mô hình AI Agent nền tảng dành cho giao diện người dùng (GUI) được thiết kế để tương tác với các môi trường di động, máy tính để bàn, web và tìm kiếm chuyên sâu. Mô hình này đạt hiệu suất vượt trội (SOTA) trên các bài kiểm tra đánh giá lớn, bao gồm đạt 79,5% trên OSWorld-Verified và 73,6% trên WebArena. Sự kiện ra mắt này đánh dấu một bước tiến quan trọng trong tự động hóa GUI, cho phép các AI Agent chuyển đổi liền mạch từ các tác vụ mô phỏng sang thực thi các hành động phức tạp, nhiều bước trên các thiết bị thực tế. Bằng cách vượt qua các mô hình hàng đầu hiện nay, nó mở đường cho các trợ lý kỹ thuật số tự trị thực tế và đáng tin cậy hơn. Qwen-UI-Agent tích hợp các rào cản an toàn tự động chặn các yêu cầu rủi ro cao và yêu cầu người dùng xác nhận trong các hoạt động nhạy cảm như thanh toán hoặc xóa dữ liệu. Ngoài ra, nó hỗ trợ thực thi dòng lệnh (CLI), xuất các hành động theo lô (batched actions) để giảm các bước thực hiện, và sử dụng học tăng cường trực tuyến (online RL) trên 10.000 môi trường đồng thời.
## KIẾN THỨC NỀN
GUI Agent là các hệ thống AI được thiết kế để tương tác với giao diện máy tính giống như con người, thông qua việc nhìn màn hình, nhấp nút và nhập văn bản. Để đánh giá các tác nhân này, các bộ benchmark như OSWorld sẽ kiểm tra khả năng thực hiện các tác vụ mở trên các hệ điều hành thực tế, trong khi WebArena đo lường hiệu suất của chúng trên các quy trình làm việc dựa trên web. Định vị GUI (GUI grounding) là khả năng cốt lõi giúp ánh xạ các hướng dẫn bằng văn bản thành các tọa độ pixel hoặc phần tử cụ thể trên màn hình.