MSA

Memory Sparse Attention (MSA) 是一个可扩展的、端到端可训练的潜记忆框架，支持高达1亿个token的上下文。其核心功能包括可扩展的稀疏注意力机制和文档级RoPE，实现了近线性复杂度，同时通过KV缓存压缩和内存并行推理引擎，在2块A800 GPU上实现每秒处理1亿个token的能力。此外，MSA还引入了内存交错技术，支持多轮多跳推理。该项目适用于需要长上下文理解与生成的任务场景，如大规模文本问答和信息检索等。