nano-vllm

Nano-vLLM 是一个轻量级、从零实现的大语言模型（LLM）推理引擎，旨在提供与 vLLM 接近的高性能离线推理能力。其核心特点包括前缀缓存、张量并行、Torch 编译和 CUDA Graph 等优化技术，代码精简（约1200行Python），接口兼容 vLLM 主要API。适用于资源受限环境下的本地LLM部署、教学演示、定制化推理框架开发及快速原型验证等场景。