📢 X投稿文
実機iPhone/Androidをエージェント操作。iPhoneはMacミラーリング+OCR、AndroidはadbでOK。脱獄・ツール不要で業務RPA自動化
https://github.com/ShawnPana/phone-harness
🤖 AI考察
■ **概要**
Mac/Linux経由でAIエージェントがスマートフォンを視覚と接触で直操作するツール。iPhoneはスクリーンショット+Visionフレームワーク、AndroidはスクリーンキャプチャUIツリーで状態を把握し、タップコマンドで自動化する。
■ **特徴・用途**
- **低い導入障壁**: 脱獄・アプリインストール・WebDriverAgentなし。OSネイティブAPI(HID、accessibility framework)のみで動作。
- **実機テスト・RPA** : エージェントによる自動テスト・シナリオ実行、ユーザー行動の記録・再生。ただし視覚OCRの認識精度に依存し、複雑なレイアウト変動は弱い。
- **開発DX**: `agent_helpers.py`をエージェント実行中にコード追加・編集可能。OSのセキュリティ境界内で閉じるため情報漏洩リスク最小。
■ **結論**
コンピュータビジョン駆動の軽量型フォン自動化。精度・応答性ではWebDriverAgent等に劣るが、セットアップの手軽さと編集可能性はエージェント開発のプロトタイピングに優れている。