📢 X投稿文
JoyVASAは、ポートレートや動物の画像を音声で動かす拡散モデルベースの手法です。顔の動きと頭部の動きを音声から生成し、動画の長さや連続性の制約の改善を狙っています。
https://github.com/jdh-algo/JoyVASA
🤖 AI考察
■ 概要
音声で顔画像を動かす手法で、拡散モデルにより表情の動きと頭部運動を生成し、人物に加えて動物の顔にも適用できる(JD Health / Zhejiang University, arXiv:2411.09209)。
■ 特徴・用途
第1段で顔の表現を表情・頭部姿勢などに分離し、第2段で音声から拡散モデルにより表情ダイナミクスと頭部運動を生成する2段構成。長尺動画での時間的な連続性と推論効率の改善を狙っており、リップシンク付きの話者動画やデジタルヒューマン、アバター生成に向く。
■ 結論
2段分離と拡散による頭部運動生成は実用的な設計だが、今回は README 抜粋のみの評価で、性能の定量比較やライセンス、推論コストは未確認のため、導入前に論文と実機検証が必要。