vllm-ascend

vLLM-Ascend 是一个由社区维护的硬件插件，用于在华为昇腾（Ascend）AI加速卡上运行 vLLM 推理框架。它通过适配 Ascend 的 CANN 软件栈，实现对大语言模型（LLM）的高效推理服务，支持 PagedAttention、连续批处理、KV Cache 优化等核心特性，并兼容标准 vLLM API。该项目面向需在国产 AI 硬件上部署高性能 LLM 服务的场景，适用于金融、政务、企业私有化大模型推理等对算力自主可控有要求的生产环境。