delta-attention-residuals-code

Delta Attention Residuals 是一种改进Transformer层间信息流动的注意力机制增强方法，通过用各子层的隐藏状态变化量（delta）替代传统累积隐藏状态作为跨层路由源，提升信息传递的精度与效率。核心实现包括 Delta AttnRes（细粒度、每子层独立delta）和 Delta Block（块级delta、兼顾性能与效果）两种变体，支持从零训练与微调，并已在Qwen3系列模型上验证其在困惑度与下游任务上的稳定增益。适用于大语言模型架构优化、高效训练与推理、以及关注层间动态建模的研究与工程场景。