MSA

MSA（Memory Sparse Attention）是一个面向超长上下文的可扩展稀疏注意力框架，支持最高1亿token的端到端可训练记忆建模。其核心技术包括：基于文档级RoPE的可扩展稀疏注意力机制，实现近线性计算复杂度；KV缓存分层压缩与Memory Parallel推理引擎，可在2块A800上完成1亿token推理；以及支持多轮跨段推理的Memory Interleave机制。适用于需要超长记忆能力的场景，如法律文书分析、医学文献综述、超长对话建模及知识密集型问答等对上下文长度和记忆一致性要求极高的任务。