whisperkv

WhisperKV 是一个轻量级库，用于压缩 Whisper 系列语音模型推理过程中的 KV 缓存，以降低长文本语音识别（ASR）或语音大模型生成时的显存占用。它通过三种可配置的缓存驱逐策略（heavy-hitter、magnitude、fixed-window），在不修改模型结构或重新训练的前提下，动态精简解码器自注意力 KV 缓存，支持即插即用式集成。适用于资源受限场景下的流式语音转录、实时会议记录、边缘设备 ASR 推理等需要长上下文生成的语音任务。