OpenLLM
bentoml
Run any open-source LLMs, such as DeepSeek and Llama, as OpenAI compatible API endpoint in the cloud.
AI 简介
OpenLLM 是一个开源的 LLM 服务框架，用于在云端一键部署任意开源大语言模型（如 Llama、DeepSeek、Mistral、Qwen 等）并提供 OpenAI 兼容的 REST API 接口。其核心功能包括内置 Chat UI、多后端推理引擎支持（vLLM、llama.cpp 等）、模型热加载、资源感知调度及面向生产环境的 Docker/Kubernetes/BentoCloud 部署能力。项目采用模块化设计，支持量化、微调模型接入与企业级监控运维，适用于需要快速搭建私有化 LLM 服务的 AI 工程团队、MLOps 平台集成及内部工具链开发场景。
Python
Apache License 2.012.4k
Stars
822
Forks
82
Watchers
6
Issues
Star 增长
今日0
近 7 天0
近 30 天+12
综合评分69.95
默认分支main