📢 X投稿文
Bert-VITS2拡張版。TTS音声合成と同時に表情データを生成。2025年版はTransformer削除・2D入力化で計算効率を改善
https://github.com/see2023/Bert-VITS2-ext
🤖 AI考察
■ 概要
Bert-VITS2-ext は、TTS(音声合成)と**顔表情データの同期生成**を実現するアーキテクチャ拡張。原モデルの潜在変数 z をサイドチャネル(LSTM+MLP)で顔表情値(Live Link Face)にマッピングし、従来は音声だけだった出力をアニメーション駆動対応にします。
■ 特徴・用途
- **2025年8月改善**で入力 1D→2D 化+Conv2D 採用により計算効率化、Transformer 削除で推論軽量化
- 訓練時に音声+表情を対応採集する仕組みがあり、Live Link Face 経由で自動化可能
- TTS エンジン(Bert-VITS2・CosyVoice・GPT-SoVITS)を跨いで拡張、Avatar や MetaHuman 連携が可能
■ 結論
音声キャラクタアニメーション化の有用な基盤ですが、言語・モデル間での品質差やオフセット調整手作業が必要な点、GPT-SoVITS 統合での精度低下は導入時の検討項目。