FlashMemory-Deepseek-V4

FlashMemory-Deepseek-V4 是一个轻量级检索器，用于稀疏化 DeepSeek-V4 模型的压缩稀疏注意力（CSA）KV 缓存。它基于解码头隐状态预测后续约 64 个 token 将访问的 KV chunk，并仅保留在 GPU 上得分最高的部分（约 10–15%），其余可卸载至 CPU 或磁盘，在保持性能的同时显著降低显存占用。核心特点包括：支持 uint8 压缩 KV 格式、RoPE+Hadamard 变换的查询构建、多层分数融合（max/mean）、以及低开销的阈值或 top-k 选择机制。适用于部署 DeepSeek-V4 等大语言模型时需平衡推理吞吐与显存资源的边缘或高并发服务场景。