gpustack

A GPU cluster manager for high-performance AI model serving (vLLM, SGLang) and on-demand SSH-accessible GPU instances.

AI 简介

GPUStack 是一个开源的 GPU 集群管理工具，用于高效部署和调度大语言模型（LLM）推理服务。它支持 vLLM、SGLang、TensorRT-LLM 等主流推理引擎，提供多环境 GPU 资源统一纳管（含本地服务器、Kubernetes 及云平台）、自动配置优化（低延迟/高吞吐模式）、扩展 KV 缓存（LMCache/HiCache）及 speculative decoding（EAGLE3/MTP）等高性能特性，并内置认证授权、监控告警与用量计量能力。适用于需要规模化、可运维、多租户 LLM 服务交付的企业 AI 平台、AI 基础设施团队及 MaaS（Model-as-a-Service）服务商。