📢 X投稿文
ブラウザだけで動くPNGTuberリップシンクプレイヤー。マイク音量と周波数比で口の形(閉・半開・開・え・う)を切り替え、OBSのウィンドウキャプチャでも使えます。
https://github.com/rotejin/MotionPNGTuber_Player
🤖 AI考察
■ 概要(1行)
作成済みアセットを使い、マイク入力や外部音声に合わせて口スプライトを切り替えるブラウザ版PNGTuberリップシンク再生プレイヤー(解析・アセット生成は本体リポジトリ側)。
■ 特徴・用途(2〜3行)
音量(RMS)と高低周波数比で closed/half/open/e/u を切り替え、口なし動画とトラッキングJSONで同期再生する。LipsyncEngineのDOM・Audio分離とAudioCaptureの独立化により他アプリへ組み込みやすく、外部音声入力にも対応する。配信用途ではOBSのウィンドウキャプチャで使え、動画はCFR必須(VFRだと同期がずれる)。
■ 結論(1行)
解析をオフラインに寄せ、ブラウザでは軽量な再生と音声駆動の口切替に絞った設計で配信用の組み込み部品として実用的だが、「え」「う」の判定は周波数比によるヒューリスティックなので精度には限界がある。