ELF

ELF 是一种基于连续时间流匹配的连续扩散语言模型。该项目使用 JAX 实现，并在 TPU 上进行了测试，主要特点是能够在连续嵌入空间中保持处理直到最后一步才映射到离散标记，这使得从图像域扩散模型借鉴技术变得简单，如无分类器指导（CFG）。项目提供了不同规模的预训练模型（105M、342M 和 652M 参数），适用于需要高质量文本生成的场景，特别是在资源有限的情况下仍能表现出色。此外，还提供了一个 PyTorch 版本分支以增加兼容性。