LitServe

LitServe 是一个轻量级 Python 框架，用于构建高度可定制的 AI 推理服务。它支持自定义推理逻辑、动态批处理、流式响应、多模型/多阶段管道（如 RAG、智能体）的路由与编排，并提供多 GPU 自动扩缩容能力；底层基于纯 Python 实现，无需 MLOps 配置文件或胶水代码，性能优于 FastAPI。适用于需要精细控制推理流程的场景，例如私有化部署的 RAG 应用、AI 智能体服务、混合模型 API 网关及边缘侧低延迟推理服务。