📢 X投稿文
CVPR 2024採択のSyncTalk。tri-plane hash表現で人物性を保ちつつ、口の動き・表情・頭部姿勢を同期させた話す顔動画を生成します。
https://github.com/ZiqiaoPeng/SyncTalk
🤖 AI考察
■ 概要(1行)
CVPR 2024採択の論文実装。トライプレーン・ハッシュ表現で話者ごとのNeRF系モデルを学習し、音声から同期した口元・表情・頭部姿勢を持つ高解像度の話し顔動画を生成する。
■ 特徴・用途(2〜3行)
音声特徴で口の動きを同期させ、髪など細部を復元する。アイデンティティは話者ごとの学習で保つため、1人分の録画から学習するのが前提(README抜粋では前処理・トルソー学習・Windows対応も追加済み)。用途は研究の再現・比較、個人アバターや吹替えの試作など。
■ 結論(1行)
研究用の参照実装として有用だが、話者ごとの学習コストが大きく本番用途には重い。READMEも高速・高品質を謳う後継の SyncTalk_2D を勧めているため、新規採用ならそちらを先に評価するのが妥当。