📢 X投稿文
DreamTalkは拡散モデルベースのオーディオドリブン喋る頭部生成。多言語やノイズ混入音声にも対応し、様々な話し方スタイルで高品質ビデオを生成できます。
https://github.com/ali-vilab/dreamtalk
🤖 AI考察
■ 概要
Diffusion model を用いた音声駆動型 talking head 生成フレームワークで、多様な音声入力(歌・複数言語・ノイズ)に対応した高品質ビデオ生成が特徴。
■ 特徴・用途
- **生成アーキテクチャ**:従来の GAN/autoregressive ではなく拡散過程で確率的に head motion を生成し、多様な入力への robustness を実現。
- **制御精度**:音声・pose・style の独立制御(cfg_scale・max_gen_len パラメータ)により、neutral~expressive な表情生成まで調整可能。
- **用途**:学術研究・アバター生成・動画制作支援が想定だが、実装は checkpoint の学術目的限定制約で阻まれている。
■ 結論
技術的には現在の audio-driven generation の先進例だが、checkpoint 配布の厳格さがオープン利用を大きく制限する。