📢 X投稿文
AIエージェントに『耳』をつけるOSS。ローカルCPUで音声の分析・言語化・コード化を実現。生成した音をagentが聴いて改善すれば、launch filmやUIサウンド制作が自動化される。
https://github.com/Leonxlnx/earshot
🤖 AI考察
■ 概要
AI コーディングエージェント向けの音声・音効分析 & 合成フレームワーク。生成映像に対して音声的フィードバックループを提供する。
■ 特徴・用途
- **音声→言語化**: 長録音を秒単位で文字化・品質スコア化し、エージェントが「音が合致しているか」を判定可能にする点が新規性(通常は人手確認)。
- **コード化フォワード**: UI効果音・映画サウンドを合成パラメータで表現し、プロンプトから反復改善する ―― 従来は音声ライブラリの組み合わせ頼み。
- **MCP インテグレーション**: CLI/Python/MCP の三層対応でエージェント統合が容易。CPU-only で重いモデル不要。
■ 結論
映像・ゲーム生成エージェントの「フィードバック盲点」を埋める実装的なアプローチ;マルチモーダル生成パイプラインの音声ボトルネックが具体的に解消される。