dllm

dLLM 是一个用于训练和评估扩散语言模型的库，旨在提高开发流程的透明度和可复现性。它基于 `transformers` 框架提供可扩展的训练管道，并支持 LoRA、DeepSpeed 和 FSDP 等技术，同时通过 `lm-evaluation-harness` 提供统一的评估管道，简化了推理细节和自定义过程。dLLM 适用于需要高效训练、推理和评估开放权重模型（如 LLaDA 和 Dream）的场景，以及实现特定训练算法（如 MDLM、BD3LM 和 Edit Flows）。该项目适合研究人员和开发者在自然语言处理领域进行实验和应用开发。