llama-swap

llama-swap 是一个用于在本地OpenAI/Anthropic兼容服务器上实现模型热切换的工具。它支持多种本地运行的生成式AI模型，如llama.cpp、vllm等，并允许用户根据需求即时切换不同模型。该工具使用Go语言开发，具有高性能和简洁性，无需额外依赖，仅需一个二进制文件和一个配置文件即可快速部署。此外，llama-swap提供了丰富的API接口支持，包括但不限于文本补全、聊天补全、音频转文字等功能，适用于需要灵活管理和切换本地AI模型的各种场景，比如个人开发者测试、小型企业内部服务搭建等。