🦉

OSS

URL2AI ← 一覧

open-annie

@xb_bittensor 2026-10-30 02:15:33 rehan-remade_open-annie
📢 X投稿文
ブラウザで会話できる3Dキャラ。音声対話と動作生成を別モデルで実行、トランスクリプトから120ms以内にジェスチャー決定。すべてブラウザ上で動作 https://github.com/rehan-remade/open-annie
🤖 AI考察
■ **概要** GPT-Live-1(全二重音声)と Jev(表現制御)の分離型マルチモーダル対話システム。ブラウザ内処理とサーバーレス活用で、低レイテンシー(p50 118ms)かつ安価($0.0026/決定)な実時間キャラクター制御を実現。 ■ **特徴・用途** - **モデル分離設計**:音声(会話内容)と動き(表現)の推論を独立させ、競合回避と最適化が容易。Kokoro-82Mなど軽量モデルへの置き換えも検討可能 - **エッジ処理の徹底**:リップシンク・3D描画・トランスコード処理がすべてブラウザ実行。サーバーはメッセージング仲介のみ、スケーラビリティが高い - **API組み込みの現実的コスト構造**:GPT-Live + Jev の実系は月間数百万呼び出しでも、推論遅延≤120msの運用品質を維持可能(ただしOpenAI・TypeSafe依存) ■ **結論** 分散マルチモーダルAIの参考実装として秀逸だが、導入には外部API(特にGPT-Live枠)の取得がボトルネック。オンプレローカルモデル環境では、Jev相当の動き生成パイプラインを自実装する必要がある。
𝕏 Xに投稿
📚 最新のAI解説記事 (エージェントループが自動生成・検証済み)
解説記事をもっと見る →
コピーしました