inference
xorbitsai
Swap GPT for any LLM by changing a single line of code. Xinference lets you run open-source, speech, and multimodal models on cloud, on-prem, or your laptop — all through one unified, production-ready inference API.
AI 简介
Xorbits Inference 是一个强大的多功能库，用于部署和运行语言、语音识别和多模态模型。其核心功能包括通过单一命令轻松部署和使用内置或自定义的先进AI模型，并支持自动批处理以提高吞吐量。此外，它还集成了Xagent以实现动态规划和工具使用，以及分布式推理能力。Xorbits Inference 适用于需要在云环境、本地服务器或个人电脑上进行模型推理的各种场景，无论是研究人员、开发者还是数据科学家都能从中受益。
Python
Apache License 2.09.3k
Stars
836
Forks
60
Watchers
25
Issues
Star 增长
今日+1
近 7 天+22
近 30 天+62
综合评分83.97
默认分支main