
delta-Mem
declare-lab
The official repo of the paper: $delta$-mem: Efficient Online Memory for Large Language Models
AI 简介
δ-mem是一个为大型语言模型设计的高效在线记忆机制。它通过将当前信息投影到低维记忆空间并在状态中使用delta-rule学习写入,来引入紧凑的关联记忆在线状态和冻结的全注意力骨干。项目采用Python编写,支持Qwen3-4B/8B等模型,并提供三种写入策略:TSW、SSW和MSW。适合需要在长时间交互场景下动态更新记忆而不增加上下文负担的应用,例如对话系统或智能助手。此项目包含实现代码、训练脚本、评估脚本以及一个交互式聊天演示。
Python
221
Stars
16
Forks
107
Watchers
1
Issues
Star 增长
今日+8
近 7 天+12
近 30 天+102
综合评分72.69
默认分支main