lighthouse-attention

Lighthouse Attention 是一种面向超长上下文预训练的分层注意力机制，通过选择性聚焦关键 token 来降低计算复杂度。其核心是基于 top-K 选择与多级池化（levels）、可配置采样粒度（pool size）及三种评分器（norm/dilated/GLA）的组合设计，并支持上下文并行（CP）训练。项目以 patch 形式集成于 TorchTitan（Llama3 架构），无需修改模型主干代码，显著提升 32K+ 长文本建模效率。适用于需要高效处理超长文档、代码库、法律条文等场景的大语言模型预训练与微调任务。