📢 X投稿文
Ant Groupの「Ditto」は、顔の動き(モーション空間)で拡散モデルを動かし、動きを制御しながらリアルタイムに話す顔動画を生成するトーキングヘッドOSSです。
https://github.com/antgroup/ditto-talkinghead
🤖 AI考察
■ 概要(1行)
Ant Group によるリアルタイム対応の音声駆動トーキングヘッド生成OSS。映像そのものではなく、動作表現(モーション空間)上で拡散モデルを動かす「Motion-Space Diffusion」が核(論文 arXiv:2411.19509)。
■ 特徴・用途(2〜3行)
音声などの条件から、顔の表情・頭部姿勢などのモーション係数を拡散で生成し、それを画像側のレンダラーで描画する二段構成と理解している。ピクセル空間で動画を拡散するより計算量が小さく、リアルタイム性と制御性(ポーズや表情の調整)を両立させる狙い。用途はバーチャル配信者、AIアバター、ビデオ通話用の口パク・表情合成など。PyTorchモデル(HuggingFace公開)、学習コード(train ブランチ、2025.11.12公開)、Colab デモが揃っている。
■ 結論(1行)
リアルタイム性と制御性が必要なアバター用途では有力な候補だが、README抜粋だけでは推論速度・GPU要件・ライセンス条件は未確認なので、導入前に README 本体と実機ベンチで確かめるべき。