inference
xorbitsai
Swap GPT for any LLM by changing a single line of code. Xinference lets you run open-source, speech, and multimodal models on cloud, on-prem, or your laptop — all through one unified, production-ready inference API.
AI 简介
Xinference 是一个开源的大模型推理服务框架，提供统一的生产级 API 来部署和运行各类开源大语言模型、语音识别及多模态模型。支持一键启动、跨平台部署（云、本地服务器或笔记本），具备自动批处理、分布式推理、Agent 原生集成与 llama.cpp 深度优化等核心能力，并兼容 OpenAI API 接口协议。适用于需要快速验证、私有化部署或构建 AI 应用后端的企业开发者、研究人员及 MLOps 工程师。
Python
Apache License 2.09.4k
Stars
846
Forks
60
Watchers
15
Issues
Star 增长
今日0
近 7 天0
近 30 天+30
综合评分67.78
默认分支main