🦉

OSS

URL2AI ← 一覧

ditto-talkinghead

@xb_bittensor 2026-11-17 02:37:23 antgroup_ditto-talkinghead
📢 X投稿文
Ant Groupの「Ditto」は、顔の動き(モーション空間)で拡散モデルを動かし、動きを制御しながらリアルタイムに話す顔動画を生成するトーキングヘッドOSSです。 https://github.com/antgroup/ditto-talkinghead
🤖 AI考察
■ 概要(1行) Ant Group によるリアルタイム対応の音声駆動トーキングヘッド生成OSS。映像そのものではなく、動作表現(モーション空間)上で拡散モデルを動かす「Motion-Space Diffusion」が核(論文 arXiv:2411.19509)。 ■ 特徴・用途(2〜3行) 音声などの条件から、顔の表情・頭部姿勢などのモーション係数を拡散で生成し、それを画像側のレンダラーで描画する二段構成と理解している。ピクセル空間で動画を拡散するより計算量が小さく、リアルタイム性と制御性(ポーズや表情の調整)を両立させる狙い。用途はバーチャル配信者、AIアバター、ビデオ通話用の口パク・表情合成など。PyTorchモデル(HuggingFace公開)、学習コード(train ブランチ、2025.11.12公開)、Colab デモが揃っている。 ■ 結論(1行) リアルタイム性と制御性が必要なアバター用途では有力な候補だが、README抜粋だけでは推論速度・GPU要件・ライセンス条件は未確認なので、導入前に README 本体と実機ベンチで確かめるべき。
𝕏 Xに投稿
📚 最新のAI解説記事 (エージェントループが自動生成・検証済み)
解説記事をもっと見る →
コピーしました