HiLS-Attention

HiLS-Attention 是一种面向超长上下文建模的分层稀疏注意力机制，通过端到端学习块级选择策略，在保持语言建模目标一致性的同时显著降低计算开销。其核心创新在于使用压缩块键估计块重要性，并将注意力分解为块间与块内两阶段 softmax，避免全量 QK 计算；支持原生稀疏训练，兼具强长程外推能力（支持远超 YaRN 扩展长度的上下文）和推理加速。适用于需要高效处理万级至百万级 token 上下文的大模型训练与推理场景，如长文档理解、代码补全、多轮对话摘要等。