📢 X投稿文
テキストからアニメーション3Dアバターを生成。スケルトン認識でモーション適用時のズレを自動補正し、自然な4D表現を実現
https://github.com/czh-98/STAR
🤖 AI考察
■ 概要
テキスト説明から2Dアニメーション対応の3Dアバター(4D)を直接生成する手法で、スケルトン認識による動作リターゲティングを組み込んだ統合的パイプラインを提案。
■ 特徴・用途
従来の「T2I最適化→後処理アニメーション」の逐次処理ではなく、テンプレートメッシュとの幾何差分を認識したスケルトン条件付けT2I/T2V生成を併用することで、ドメインギャップと動作位置ずれを同時に解決。VTuber・ゲーム自動キャラ生成・メタバースアバター製造など、テキスト駆動のアニメキャラ量産が実用域に。
■ 結論
スケルトン認識という古典的骨格情報を拡散モデル時代に再評価し、複雑な幾何制約を事前学習プライアに埋め込むアプローチは、大規模生成モデル時代の「局所構造を無視しない」設計として参考値あり。