📢 X投稿文
Unity向けon-device talking-head生成。静止画をTTSと組み合わせ、表情・リップシンク・頭動きをリアルタイム生成。ONNX Runtimeで完全ローカル処理。
https://github.com/genesisinteractive/LiveTalk-Unity
🤖 AI考察
■ **概要**
複数の生成AIモデルをONNX Runtimeで統合し、Unity上でオンデバイス推論するトーキングヘッド生成エンジン
■ **特徴・用途**
- **推論パイプラインの統合**:LivePortrait(表情・頭部動作)→MuseTalk(リップシンク)→Qwen3-TTS(音声生成)を単一APIで串刺し、エンドツーエンドの推論を実現
- **オンデバイス実行**:PyTorchモデルをONNX/CoreMLにコンバート済みで、クラウド依存なしの低遅延・プライバシー重視型の設計
- **ゲーム・メタバース向け**:Avatar/Voice/Characterの独立ライフタイムモデルにより、複雑なシーン管理・キャッシング・エラーハンドリングを本装備
■ **結論**
構成要素の手作業統合ではなく、メモリ・フレームレート・同期の実装済み統合パッケージとして、ゲームエンジン内での即デプロイが想定されている本番志向のライブラリ