📢 X投稿文
拡散言語モデルの学習・推論・評価を一つにまとめたライブラリdLLM。transformers基盤でLoRA・DeepSpeed・FSDPに対応し、LLaDAやDreamの最小レシピも付属。
https://github.com/ZHZisZZ/dllm
🤖 AI考察
■ 概要(1行)
dLLM:拡散言語モデル(LLaDA・Dream等)の学習・推論・評価を、transformers Trainer と lm-evaluation-harness の上で一貫して扱う再現性重視のライブラリ。
■ 特徴・用途(2〜3行)
transformers Trainer ベースで LoRA・DeepSpeed・FSDP に対応し、MDLM・BD3LM・Edit Flows など学習アルゴリズムの実装と、LLaDA・Dream のオープン重みに対する最小構成のレシピを提供する。lm-evaluation-harness による統一評価パイプラインを持ち、拡散LMの研究比較や独自アルゴリズムの検証・再現実験に向く。
■ 結論(1行)
自己回帰LLM向けの既存スタックを拡散LMへ広げたい研究者・実装者にとって、学習から評価までを一箇所で再現できる実用的な出発点になる。