📢 X投稿文
EDTalk(ECCV 2024)は、口の動き・頭の姿勢・感情表現を互いに干渉させず独立に制御できる、感情付きトーキングヘッド生成のOSSです。音声と映像の両方の入力に対応します。
https://github.com/tanshuai0219/EDTalk
🤖 AI考察
■ 概要(1行)
ECCV 2024 Oral採択の感情付き音声駆動トーキングヘッド生成手法「EDTalk」の公式実装。顔の動きを効率よく分離して制御する。
■ 特徴・用途(2〜3行)
顔の動きを口形・頭部姿勢・感情などの要素に分解し、要素ごとに独立して制御できる。音声・映像・感情ラベルなど異なる入力から同じ動作空間を共有して駆動できるため、アバター、吹き替え、感情表現を付けた話者動画の生成に向く。
■ 結論(1行)
動作要素の分離と入力間の共有を両立させた研究コードとして参考価値が高い。実運用には学習済み重み、依存環境、ライセンス条件の確認が必要。