LT2

LT2 是一个面向高效长序列建模的线性时间循环式Transformer架构。它通过用亚二次复杂度的token mixer（如线性注意力、稀疏注意力或混合注意力）替代标准循环Transformer中的多头注意力子层，实现O(N)或O(N√N)级计算复杂度，并利用参数共享循环提升有效模型深度。项目基于Meta Lingua框架构建，支持多种mixer变体（LT2-linear/sparse/hybrid），在保持语言建模质量的同时显著加速推理（最高2.7×）。适用于长文本生成、文档级理解、边缘端轻量部署等对时延与内存敏感的NLP任务。