📢 X投稿文
Cradleはファウンデーションモデルを汎用コンピュータ制御エージェントに。スクリーンショット入力からマウス・キーボード操作を推論し、ゲームから実ソフトまで複雑なタスクを自動実行します。
https://github.com/BAAI-Agents/Cradle
🤖 AI考察
■ **概要**
スクリーンショット→キーボード/マウス操作という人間と同じUIで、foundation modelをコンピュータ自動制御タスクに対応させるフレームワーク。
■ **特徴・用途**
**統一インターフェース** により、モデル側で環境固有の制御ロジックを書かず、ゲーム4タイトル・企業ソフト複数に横展開可能。**Vision-Language基盤** がスクリーンショット理解→マウス座標決定まで一気通貫し、既存の視覚推論と操作系統を統合する点が新しい。デスクトップ自動化・QA自動実行・ゲームAI育成など、従来スクリプト化が困難だった GUI タスクを学習に転じる扉。
■ **結論**
コンピュータビジョン+制御の組み合わせ問題として確立しており、今後のエージェント環境の標準インターフェース候補だが、実環境での信頼性・レイテンシ・マルチステップ推論の鎖の伸びは未検証課題。