Phone-Harness Cho Phép Các Agent AI Trực Tiếp Điều Khiển và Tự Động Hóa iPhone
Một công cụ mã nguồn mở mới có tên "phone-harness" đã được phát hành, cho phép các agent AI như Claude Code trực tiếp điều khiển và tự động hóa iPhone vật lý. Công cụ này giúp các agent tương tác với bất kỳ ứng dụng iOS nào mà không cần API chính thức hoặc bẻ khóa (jailbreak) thiết bị. Sự phát triển này thu hẹp khoảng cách giữa các agent lập trình dựa trên LLM và tự động hóa thiết bị di động, mở ra những khả năng mới cho việc kiểm thử tự động và quy trình làm việc của agent trên iOS. Nó cho thấy cách các agent AI trên máy tính có thể mở rộng khả năng của mình sang phần cứng di động vật lý. Về mặt kỹ thuật, phone-harness hoạt động bằng cách chụp cửa sổ iPhone Mirroring trên macOS, sử dụng Vision framework của Apple để nhận dạng ký tự quang học (OCR) nhằm xác định tọa độ văn bản trên màn hình, và thực hiện các cú chạm thông qua CGEvents ở cấp độ HID. Điều này cho phép agent AI nhìn thấy màn hình và mô phỏng các thao tác chạm của con người một cách tự nhiên.
## KIẾN THỨC NỀN
Claude Code là một công cụ lập trình dạng agent của Anthropic, chạy trong terminal hoặc IDE để viết mã và thực thi các lệnh. Trước đây, việc tự động hóa các ứng dụng iOS đòi hỏi các framework kiểm thử phức tạp như Appium hoặc các API dành cho nhà phát triển chính thức, điều này làm hạn chế tính linh hoạt của các agent AI đa dụng.