inferencekey-sdk

InferenceKey SDK 是一个用于编程化管理 AI 推理工作负载的开发工具包，支持通过代码声明模型服务（如 Llama-3 等），自动部署并获取 OpenAI 兼容的 API 端点。其核心为 Rust 编写，提供稳定 C ABI，并封装了原生 Python 与 TypeScript 绑定，强调声明式配置、分钟级端点就绪与跨模型/后端（如 vLLM）统一调度能力。适用于需要在组织内标准化 AI 模型部署、控制推理成本、实现 CI/CD 集成或构建内部 AI 平台的工程团队。