shimmy

Shimmy是一个轻量级的本地推理服务器，完全兼容OpenAI API，支持GGUF模型。其核心功能包括一键部署、热模型切换、自动发现以及单个二进制文件运行，无需额外依赖。采用Rust语言开发，确保了高性能和安全性。特别适用于需要在本地环境快速搭建并运行机器学习模型的应用场景，如个人开发者、小型团队或对数据隐私有较高要求的企业。此外，Shimmy承诺永久免费，为用户提供了稳定可靠的本地AI服务解决方案。