■ **概要** 拡散モデルに報酬信号を組み込み、生成プロセス中に動的に更新される中間目標で自己蒸留するオンポリシー最適化手法。 ■ **特徴・用途** - **自己蒸留 + 報酬駆動**: モデルが自身を蒸留対象としながら報酬勾配を直接受け取ることで、RLHF相当の品質向上を実現 - **動的ターゲット刷新**: 学習中に中間目標を継続更新（固定蒸留と異なり、モデル改善に同期）→学習効率向上 - **活用局面**: 生成品質（美学・テキスト忠実度・物理一貫性）の向上、既存微調整パイプラインへの統合 ■ **結論** 拡散系画像生成（Flux・DALL-E後続等）の実用的な改善手法だが、ターゲット更新の計算コストと1B超モデルでのスケーリング検証が今後の課題。