■ 概要 LLMを推論エンジンとしたコンピュータビジョンベースのUI自動化フレームワーク。スクリーンショット→LLM判断→マウス・キーボード操作のループで任意のGUI操作を自動実行。 ■ 特徴・用途 - **外部LLM依存設計**：GPT-4o/Gemini等の商用APIに毎ステップ画像を送信するため、推論コスト・レイテンシが実行速度を制限（結果的に長時間タスクは実用困難）。 - **マークアップ非依存**：DOM/UIツリー解析不要で、スクリーンショット単体で動作するため、任意アプリ対応は広いが、視覚的ノイズに脆弱。 - **マス向けRPA代替候補**：エンジニア不要のUI自動化をうたい、テスト/雑務自動化のロー・コード化に訴求。 ■ 結論 開発者向けのクローズドループUI自動化と異なり、LLMの高コスト・高レイテンシが根本制約。ローカルVLMへの切り替え対応（例：Qwen-VL）が実用化・採用の必須条件。