Parallax

Parallax 是一种参数化的局部线性注意力机制，旨在改进标准 Softmax 注意力的理论性质与实际效率。其核心是通过可学习参数增强局部线性注意力（LLA），保留 Softmax Attention 的计算结构（支持 KV 缓存、滑动窗口与块稀疏等优化），但不追求线性复杂度。项目提供基于 Triton（训练）和 CuTeDSL（解码）的高性能 CUDA 实现，专为 Hopper 架构 GPU 优化，并附带 PyTorch 参考实现用于验证与跨平台适配。适用于需兼顾理论严谨性与推理/训练效率的大模型注意力替换场景，如长上下文语言建模与结构化序列建模。