vllm-swift

vllm-swift 是一个为 Apple Silicon（M 系列芯片）优化的 vLLM 高性能推理后端插件，通过原生 Swift/Metal 实现推理热路径，完全绕过 Python 解释器开销。核心特性包括：OpenAI 兼容 API、支持量化模型（如 4-bit）、集成 TurboQuant+ KV 缓存压缩技术以提升长上下文容量，并在短上下文解码中实现最高 2.6 倍于 Python/MLX 方案的吞吐量。适用于 macOS 本地部署轻量级大语言模型服务，尤其适合开发者、研究人员在 Mac 上进行快速原型验证、边缘侧 LLM 应用开发及离线推理任务。