kserve

Standardized Distributed Generative and Predictive AI Inference Platform for Scalable, Multi-Framework Deployment on Kubernetes

AI 简介

KServe 是一个面向 Kubernetes 的标准化分布式 AI 推理平台，支持生成式与预测式 AI 模型的统一部署与服务。核心功能包括：对 LLM（如 vLLM、Hugging Face 模型）的高性能推理优化，OpenAI 兼容协议；对 TensorFlow、PyTorch、XGBoost 等多框架模型的原生支持；基于请求的自动扩缩容（含 scale-to-zero）、智能路由、InferenceGraph 编排、模型解释性集成及 KV 缓存卸载等。适用于需要在生产环境中规模化、安全、可观测地部署和管理 AI 模型的企业级 MLOps 与 GenAI 场景。