nano-vllm

Nano-vLLM 是一个从零构建的轻量级vLLM实现。它提供了快速的离线推理能力，性能与vLLM相当，并且代码库简洁易读，仅约1,200行Python代码。该项目集成了多种优化技术，包括前缀缓存、张量并行、Torch编译和CUDA图等，以进一步提升运行效率。适用于需要高效自然语言处理模型推理但又希望保持系统轻量化和易于维护的场景，如基于文本生成的应用开发或研究项目。