xllm

xLLM 是一个高性能AI模型推理引擎，支持大语言模型（LLM）、多模态模型（VLM）、扩散变换器（DiT）和推荐模型（REC）在多种AI加速器上的高效部署。其核心特点包括跨架构优化（适配昇腾、寒武纪等国产加速器）、零日支持主流模型（如DeepSeek-V4、MiniMax-M3、GLM系列）、混合KV缓存管理及轻量C++实现。适用于需要低延迟、高吞吐的生产级AI服务场景，如云边协同推理、私有化模型部署与国产芯片适配落地。