📢 X投稿文
GLM-TTS、LLMベース。短い音声(3-10秒)からゼロショット音声クローニング可能で、多報酬強化学習で感情表現と抑揚を制御した高品質合成音声を実現。
https://github.com/zai-org/GLM-TTS
🤖 AI考察
■ 概要
LLMでテキスト→音声トークン化、Flowモデルで波形化する2段階設計に、マルチリワード強化学習で感情表現を付加したゼロショット音声合成。
■ 特徴・用途
- **ゼロショット音声クローニング**: 3-10秒の参照音声で新話者対応可能(Audio8等の従来型より学習時間を削減)
- **感情・プロソディ制御**: RL強化学習で「感情的な読み」「間」「強調」を自動獲得→キャラクター音声・ナレーション向け
- **ストリーミング推論**: LLMトークン生成と並行してFlow処理可能→インタラクティブアプリ・ライブ対応の実装余地あり
■ 結論
LLM→トークン化→波形の直列パイプラインが感情表現の構造的課題(従来TTSの単調性)を補う点で実装価値がある一方、LLMコールド/流量制御・RL学習コストが本番運用の検討項目。