LLaDA

LLaDA是一个基于PyTorch实现的大规模语言扩散模型。该项目的核心功能包括80亿参数的预训练模型，支持从零开始训练，并且在性能上可与LLaMA3 8B相媲美。技术特点方面，LLaDA采用了先进的扩散机制和掩码技术，提供了批量推理支持以及基于lm-evaluation-harness的评估代码。此外，项目还推出了视觉-语言模型LLaDA-V和采用MoE架构的LLaDA-MoE-7B-A1B等扩展版本。适合需要高质量文本生成、多模态处理及高效推理的应用场景使用。