📢 X投稿文
ブラウザで会話できる3Dキャラ。音声対話と動作生成を別モデルで実行、トランスクリプトから120ms以内にジェスチャー決定。すべてブラウザ上で動作
https://github.com/rehan-remade/open-annie
🤖 AI考察
■ **概要**
GPT-Live-1(全二重音声)と Jev(表現制御)の分離型マルチモーダル対話システム。ブラウザ内処理とサーバーレス活用で、低レイテンシー(p50 118ms)かつ安価($0.0026/決定)な実時間キャラクター制御を実現。
■ **特徴・用途**
- **モデル分離設計**:音声(会話内容)と動き(表現)の推論を独立させ、競合回避と最適化が容易。Kokoro-82Mなど軽量モデルへの置き換えも検討可能
- **エッジ処理の徹底**:リップシンク・3D描画・トランスコード処理がすべてブラウザ実行。サーバーはメッセージング仲介のみ、スケーラビリティが高い
- **API組み込みの現実的コスト構造**:GPT-Live + Jev の実系は月間数百万呼び出しでも、推論遅延≤120msの運用品質を維持可能(ただしOpenAI・TypeSafe依存)
■ **結論**
分散マルチモーダルAIの参考実装として秀逸だが、導入には外部API(特にGPT-Live枠)の取得がボトルネック。オンプレローカルモデル環境では、Jev相当の動き生成パイプラインを自実装する必要がある。