sglang

SGLang 是一个面向大语言模型与多模态模型的高性能推理服务框架，专为优化模型部署与推理效率而设计。其核心功能包括支持多种主流开源模型（如 Llama、Qwen、DeepSeek、GLM 等）、原生适配多硬件后端（CUDA、TPU/JAX）、提供稀疏注意力与专家混合（MoE）等加速技术，并扩展支持扩散模型（Diffusion）与视觉语言模型（VLM）的高效推理。适用于需要低延迟、高吞吐量的生产级 AI 服务场景，如企业级 API 服务、实时多模态应用及大规模模型集群部署。