sno-ai

llmix

sno-ai

Production LLM call layer for AI agents and tools: keep OpenAI/Anthropic/AI SDK/LiteLLM, hot-swap models with MDA presets, and add cache, retries, circuit breakers, key rotation, singleflight, and Python/TypeScript/Rust parity.

AI 简介

LLMix 是一个用于AI代理和工具的生产级大语言模型调用层,支持OpenAI、Anthropic等多平台SDK,并提供模型热切换、缓存、重试、断路器、密钥轮换等功能。该项目采用配置驱动的方式,使得开发者无需更改原有代码即可实现模型行为调整,同时通过预设配置管理模型参数,增强了应用的灵活性与稳定性。它适用于需要在不同环境下快速切换模型或优化API调用性能的场景,如企业级AI服务部署、多语言环境下的统一接口封装等。项目支持Python、TypeScript及Rust三种编程语言,确保了跨平台的一致性。

Python
Apache License 2.0
129
Stars
28
Forks
30
Watchers
0
Issues

Star 增长

今日0
近 7 天0
近 30 天+99
综合评分54.29
默认分支main