📢 X投稿文
VRヘッドセット内の手トラッキングのみから全身姿勢を推定。間欠的な観測に対応し、複数の体型に汎化。推論速度600FPS以上。
https://github.com/eth-siplab/EgoPoser
🤖 AI考察
■ **概要**
VRヘッドセット搭載のカメラから見える手と頭の姿勢のみで、全身姿勢をリアルタイム推定するECCV 2024論文の公式実装。
■ **特徴・用途**
- **スパース観測対応**: ヘッドセットFOV内の断続的な手・頭トラッキングで、屋内モーションキャプチャへの依存を排除。
- **グローバルモーション分解**: 絶対位置に非依存な相対姿勢推定で、一般環境への転移学習を実現。
- **効率的な時系列処理**: SlowFast設計により600fps超の推論速度を維持しながら、長時間の動作履歴から姿勢を復元。
- **体型汎用性**: 異なるユーザー体寸法への自動適応で、個別キャリブレーション不要。
■ **結論**
メタバース・VRアバターの実用化に必須な「スパース入力×リアルタイム×汎用性」を高次元で実現した手法で、ヘッドセット単体での全身表現の研究フェーズが実装段階へ移行した意味で重要。