whisperkv

WhisperKV 是一个轻量级库，用于为类似Whisper的语音模型提供KV缓存压缩功能。它通过配置可选的KV缓存淘汰策略来减少长文本生成时解码器所需的内存，而无需重新训练模型，特别适用于在较小GPU上进行流式自动语音识别或语音-大语言模型推理。核心功能包括三种淘汰策略：默认的“重击者”规则、幅度规则和固定窗口规则，允许用户根据需求灵活选择。本项目采用Python编写，并依赖PyTorch 2.1+环境运行。使用时只需简单调用`patch()`函数对模型进行包装即可立即生效。