turboquant_plus

TurboQuant+ 是一个面向本地大语言模型推理的 KV 缓存极端压缩研究项目，基于 llama.cpp 实现 TurboQuant（ICLR 2026）算法及其扩展变体（如 turbo4v2：4-bit K + 2-bit V）。核心功能包括跨平台（Metal/CUDA/ROCm/CPU）的量化推理支持、预编译二进制分发、系统级性能基准与质量验证，并协同 Swift MLX、vLLM 等后端推进零 Python 热路径部署。适用于资源受限设备上的高效 LLM 本地部署，尤其适合 Apple Silicon 和 CUDA 环境下的低延迟、高吞吐推理场景。