Attention-Residuals

Attention Residuals (AttnRes) 项目旨在为Transformer模型中的标准残差连接提供一种替代方案，通过学习到的、依赖于输入的注意力机制来选择性地聚合先前层的表示。其核心功能包括使用softmax注意力代替固定权重的累积方式，从而允许每一层根据内容有选择地访问所有前序层的信息。此外，Block AttnRes版本通过将层划分为多个块并在块间应用注意力机制，有效地减少了内存需求至O(Nd)，同时保持了性能优势。该项目适用于需要提高深层Transformer网络训练稳定性和效率的各种自然语言处理和计算机视觉任务场景中。