GatedDeltaNet-2

Gated DeltaNet-2 是一种面向长序列建模的线性注意力机制改进模型，通过解耦擦除（erase）与写入（write）两个操作，实现对递归状态更精细的通道级编辑控制。其核心采用独立的通道维度擦除门（b_t）和写入门（w_t），结合通道级衰减（D_t），在保持硬件友好性的同时提升记忆更新精度；支持 Triton 加速的 chunkwise 前后向计算。适用于需要高效处理超长上下文的语言建模、常识推理等序列建模任务，尤其适合资源受限下的 recurrent-only 或 hybrid 架构部署。