WinMind: Máy chủ Windows MCP điều khiển máy tính qua cây truy cập giao diện
Lập trình viên Cool-Statistician880 đã phát hành WinMind, một máy chủ Windows Model Context Protocol (MCP) mã nguồn mở cho phép các đại lý AI điều khiển ứng dụng máy tính thông qua cây khả năng truy cập UI Automation thay vì phân tích ảnh chụp màn hình. Bằng cách thay thế việc đoán tọa độ dựa trên hình ảnh bằng tương tác trực tiếp qua cây khả năng truy cập, WinMind giúp giảm đáng kể lượng token tiêu thụ, giảm tối đa độ trễ và cho phép AI tương tác với các cửa sổ ứng dụng ở chế độ nền mà không cần di chuyển chuột. WinMind biểu diễn giao diện ứng dụng dưới dạng một cây đánh số gọn nhẹ (ví dụ: thực thi thao tác qua mã tham chiếu như `ui_act(ref=30)`) và tích hợp khoảng 222 công cụ Windows bản địa để quản lý tiến trình, mạng và hệ thống. Công cụ này cũng xử lý các trường hợp phức tạp như ứng dụng Chromium bị trắng hình khi bị che, vòng lặp WinUI 3/WebView2 và nhận diện ứng dụng theo tên tiến trình.
## KIẾN THỨC NỀN
Model Context Protocol (MCP) là một chuẩn mở được thiết kế để kết nối mượt mà các mô hình AI với các công cụ, nguồn dữ liệu và quy trình làm việc cục bộ. Khung Windows UI Automation của Microsoft hiển thị các phần tử giao diện ứng dụng dưới dạng cấu trúc cây khả năng truy cập, vốn thường được các công cụ hỗ trợ như trình đọc màn hình sử dụng. Hầu hết các đại lý AI điều khiển máy tính hiện nay đều phụ thuộc vào xử lý thị giác bằng cách chụp ảnh màn hình liên tục và ước tính tọa độ điểm ảnh, gây tốn tài nguyên và dễ lỗi khi các cửa sổ đè lên nhau.