MoBA

MoBA 是一种面向长上下文大语言模型（LLM）的可训练块稀疏注意力机制。它将输入序列划分为多个KV块，通过无参top-k门控动态选择每个查询最相关的块进行注意力计算，在保持标准Transformer结构基础上实现高效长序列建模；支持与全注意力无缝切换，需对现有模型继续训练以生效。技术特点包括可学习的块级稀疏性、零参数门控设计、兼容FlashAttention优化，兼顾推理效率与复杂推理任务性能。适用于需要处理超长文本（如文档摘要、法律分析、代码理解）且对精度敏感的LLM服务与训练场景。