Tencent ra mắt UI-Mate-27B, mô hình tác nhân GUI mã nguồn mở cho tự động hóa máy tính
Tencent đã phát hành UI-Mate-27B, một mô hình tác nhân GUI trọng số mở (open-weight) được xây dựng trên Qwen3.6-27B có khả năng thực hiện các tác vụ phức tạp trên giao diện máy tính. Mô hình này hoạt động bằng cách phân tích ảnh chụp màn hình trực tiếp và tạo ra các hành động bàn phím và chuột có cấu trúc, hỗ trợ cả việc sử dụng máy tính thông thường và quy trình làm việc có hướng dẫn bằng minh họa. Việc phát hành này cung cấp một giải pháp thay thế trọng số mở mạnh mẽ cho các tác vụ tự động hóa máy tính và "sử dụng máy tính", vốn trước đây bị thống trị bởi các mô hình độc quyền. Bằng cách hỗ trợ lập kế hoạch dựa trên minh họa, nó cho phép người dùng dạy mô hình các quy trình làm việc mới chỉ từ một lần minh họa thay vì phụ thuộc vào các kịch bản cứng nhắc. UI-Mate-27B được huấn luyện bằng phương pháp tinh chỉnh có giám sát (SFT) kết hợp với học tăng cường trực tuyến (online RL) trong môi trường GUI có thể thực thi, và các hành động có cấu trúc của nó tương thích với thư viện pyautogui. Mô hình này sử dụng cơ chế định vị màn hình trực tiếp thay vì phát lại tọa độ, cho phép nó tự động lập kế hoạch lại khi bố cục giao diện hoặc trạng thái ứng dụng thay đổi.
## KIẾN THỨC NỀN
Các tác nhân GUI (Giao diện người dùng đồ họa) là các mô hình AI được thiết kế để tương tác với máy tính giống như con người, bằng cách quan sát màn hình và sử dụng các đầu vào ảo như nhấp chuột và nhấn phím. Tác vụ chu kỳ dài (long-horizon tasks) đề cập đến các mục tiêu phức tạp đòi hỏi tác nhân phải lập kế hoạch và thực hiện hàng chục hoặc hàng trăm bước tuần tự trên nhiều ứng dụng trong một khoảng thời gian dài.