Multi-state-RWKV-online-memory

该项目是一个面向大语言模型注意力机制研究的实验性代码库，聚焦于动态线性注意力（DLA）与RWKV风格在线记忆机制的对比分析。核心功能包括复现DLA理论框架、实现多种RWKV变体（如delta-rule、RWKV-7单状态/多状态更新）及统一边界下的状态更新消融实验，所有实现基于CPU验证，支持机制级性能评估与可视化。适用于自然语言处理领域中长程依赖建模、注意力机制改进研究及轻量级在线记忆结构设计等学术探索场景。