
dllm
ZHZisZZ
dLLM: Simple Diffusion Language Modeling
AI 简介
dLLM 是一个面向离散扩散语言模型(Diffusion Language Models)的开源训练与评估框架。它提供基于 Hugging Face Transformers 的可扩展训练流水线(支持 LoRA、DeepSpeed、FSDP),统一的评估接口(集成 lm-evaluation-harness),并实现了多种扩散建模范式,如掩码扩散(MDLM)、块扩散(BD3LM)和编辑流(Edit Flows)。项目聚焦于开放权重模型(如 LLaDA、Dream)的复现与实验,强调透明性与可复现性。适用于 NLP 研究者探索扩散机制在语言建模中的应用,尤其适合需要快速验证新扩散算法、进行可控文本生成或推理增强实验的学术与工程场景。
Python
Apache License 2.02.7k
Stars
282
Forks
18
Watchers
15
Issues
Star 增长
今日0
近 7 天0
近 30 天0
综合评分59.36
默认分支main