Attention-Residuals

Attention Residuals（AttnRes）是一种面向Transformer架构的残差连接改进方法，用可学习的、输入依赖的深度注意力机制替代传统固定权重的加法残差连接。其核心包括全层注意力残差（Full AttnRes）和分块注意力残差（Block AttnRes），后者通过分块策略将内存复杂度从O(Ld)降至O(Nd)，兼顾性能与实用性。项目提供即插即用的PyTorch风格实现，无需修改模型主干结构。适用于需要提升深层Transformer训练稳定性与表达能力的研究与工程场景，如大语言模型微调、长序列建模及高效深度网络设计。