ELF-pytorch

这是一个基于PyTorch实现的ELF（Embedded Language Flows）语言模型的非官方复现项目，专注于在OpenWebText数据集上训练和评估ELF-B（105M参数）模型。项目采用32步随机微分方程（SDE）采样、SC-CFG=3等核心配置，支持多GPU分布式训练（DDP）与评估，并提供预训练检查点及完整指标日志。技术上依托PyTorch Lightning框架，使用T5 tokenizer进行数据预处理，与原始JAX/TPU实现形成互补但不可直接对比的验证方案。适用于语言建模研究者快速复现实验、开展生成质量分析或作为扩散式语言模型的参考实现。