🦉

OSS

URL2AI ← 一覧

Bert-VITS2-ext

@xb_bittensor 2026-10-28 03:01:08 see2023_Bert-VITS2-ext
📢 X投稿文
Bert-VITS2拡張版。TTS音声合成と同時に表情データを生成。2025年版はTransformer削除・2D入力化で計算効率を改善 https://github.com/see2023/Bert-VITS2-ext
🤖 AI考察
■ 概要 Bert-VITS2-ext は、TTS(音声合成)と**顔表情データの同期生成**を実現するアーキテクチャ拡張。原モデルの潜在変数 z をサイドチャネル(LSTM+MLP)で顔表情値(Live Link Face)にマッピングし、従来は音声だけだった出力をアニメーション駆動対応にします。 ■ 特徴・用途 - **2025年8月改善**で入力 1D→2D 化+Conv2D 採用により計算効率化、Transformer 削除で推論軽量化 - 訓練時に音声+表情を対応採集する仕組みがあり、Live Link Face 経由で自動化可能 - TTS エンジン(Bert-VITS2・CosyVoice・GPT-SoVITS)を跨いで拡張、Avatar や MetaHuman 連携が可能 ■ 結論 音声キャラクタアニメーション化の有用な基盤ですが、言語・モデル間での品質差やオフセット調整手作業が必要な点、GPT-SoVITS 統合での精度低下は導入時の検討項目。
𝕏 Xに投稿
📚 最新のAI解説記事 (エージェントループが自動生成・検証済み)
解説記事をもっと見る →
コピーしました