Trợ lý AI Doubao của ByteDance ra mắt tính năng máy tính ảo điều khiển Windows bằng GUI
ByteDance đã cập nhật trợ lý AI Doubao trên Windows với tính năng máy tính ảo mới trong chế độ tác vụ. Tính năng này cho phép AI điều khiển môi trường Windows được cô lập (sandbox) bằng tự động hóa GUI — mô phỏng di chuyển chuột, nhấp chuột và gõ phím — để thực hiện các quy trình công việc phức tạp. Đây là một bước triển khai thực tế của các tác nhân AI dựa trên GUI (thường gọi là "computer use") trong một ứng dụng trợ lý phổ thông cho người dùng cá nhân và doanh nghiệp. Bằng cách hoạt động trên máy tính ảo, AI có thể thực hiện các quy trình liên ứng dụng mà không chiếm quyền điều khiển chuột và bàn phím vật lý của người dùng, giúp đa nhiệm mượt mà hơn. Hệ thống dựa trên khả năng thị giác GUI tổng quát thay vì phụ thuộc vào API, CLI hay Giao thức bối cảnh mô hình (MCP) để tương tác với ứng dụng. Người dùng có thể giám sát hành động của AI theo thời gian thực và chọn tạm dừng hoặc trực tiếp tiếp quản máy tính ảo bất kỳ lúc nào.
## KIẾN THỨC NỀN
Theo truyền thống, các trợ lý AI tương tác với phần mềm thông qua API hoặc plugin tùy chỉnh, điều này giới hạn khả năng sử dụng của chúng trong các ứng dụng được hỗ trợ. Các tác nhân AI dựa trên GUI, hay tác nhân "sử dụng máy tính", vượt qua giới hạn này bằng cách "nhìn" màn hình và tương tác với giao diện người dùng giống như con người. Việc chạy các tác nhân này trong máy tính ảo hoặc môi trường sandbox giúp tránh làm gián đoạn không gian làm việc hiện tại của người dùng.