LitServe

LitServe 是一个用于构建自定义AI推理服务器的轻量级Python框架，提供了对逻辑、批处理和扩展的完全控制。其核心功能包括自定义推理逻辑、多GPU自动扩展、无MLOps粘合代码以及支持任何PyTorch模型。技术上，它比FastAPI快两倍，并且支持流式处理和简单部署。适用于需要高度定制化推理流程的场景，如构建复杂的AI服务、代理、检索增强生成(RAG)系统或涉及多个模型协同工作的项目中。