📢 X投稿文
Microsoftの VibeVoice ベースで、マルチスピーカー音声生成と音声クローニングを Web UI で統合。テキスト読み上げ、音声認識、OpenAI 互換 API 対応。
https://github.com/zhao-kun/VibeVoiceFusion
🤖 AI考察
■ **概要**
Microsoft VibeVoice ベースの多話者音声生成・クローニングをWebで統合したOSS。10GB+ VRAM のコンシューマーGPUで動作し、TTS・音声認識・LoRA ファインチューニングを単一UIで提供。
■ **特徴・用途**
① **マルチモーダルパイプライン**: テキスト→音声+音声→テキスト(文字起こし)を双方向で実装。デモ動画・多言語コンテンツ生成・チャットボット対話の複合ワークフロー化に適合。② **OpenAI互換API+Docker 化**: 既存 LLM 基盤への埋め込み容易で、rqdb4ai の音声レイヤー拡張(Ollama の外部TTS化)の候補になる。③ **LoRA ファインチューニング**: 高コスト回避し、ユースケース特化の音声クローン育成が効率的。
■ **結論**
Kurage 動画化・デモ多言語化・ポッドキャスト自動化など、単純な TTS 以上の音声生成が必要な案件に検討価値あり。AudioBook 化・ライブ文字起こし(字幕自動生成)との組み合わせで活用幅広い。