LT2

LT2是一个实现了线性时间循环Transformer的项目，旨在通过子二次令牌混合器（包括线性、稀疏和混合注意力机制）来优化标准Transformer架构。其核心功能在于将多头注意力子层替换为更高效的令牌混合器，并通过循环机制重复使用相同参数多次，从而在不显著增加计算成本的情况下提升了模型的有效深度。LT2适合需要高效处理序列数据且对计算资源有限制的应用场景，如自然语言处理中的文本生成与理解任务。该项目基于Meta Lingua预训练框架构建，提供了详尽的文档支持以及易于扩展的研究基础。