LLaDA

LLaDA是一个基于扩散机制的大语言模型（Diffusion LLM），旨在用去噪生成范式替代传统自回归解码。项目提供8B参数规模的开源实现，支持从零预训练、指令微调与MoE架构变体，具备批量推理、标准评测集成（如lm-evaluation-harness）及多模态扩展（LLaDA-V）。技术上融合掩码扩散、VRPO优化与稀疏激活机制，在保持推理效率的同时逼近主流自回归模型性能。适用于对生成可控性、不确定性建模或训练稳定性有更高要求的研究场景，如可控文本生成、AI安全研究及扩散模型与语言建模交叉探索。