lighthouse-attention

Lighthouse Attention 是一种基于选择的分层注意力机制，用于在非常长的上下文中预训练大型语言模型。该项目的核心功能包括三种评分变体（norm、dilated 和 gla）以及可选的上下文并行路径，通过单个补丁应用在 PyTorch 的一个分支上，无需修改主模型文件。它适用于需要处理长文本输入场景下的自然语言处理任务，特别是对计算资源有限但又希望提高模型性能的研究和开发工作。