NVIDIA-NeMo

Switchyard

NVIDIA-NeMo

暂无描述

AI 简介

Switchyard 是一个用 Rust 编写的 LLM 流量代理与库,用于在不同大语言模型后端间路由请求并实现 API 协议转换。其核心功能包括 OpenAI 与 Anthropic 接口格式的双向翻译、支持随机路由、LLM 分类路由、信号驱动分阶段路由等可组合算法,以及基于 Prometheus 的细粒度运营指标采集(如请求量、延迟、token 数、路由开销)。适用于本地开发调试、多模型 A/B 对比测试、编码智能体(如 Claude Code)对接开源模型服务(vLLM/NVIDIA NIM/Ollama)等场景,目前为预 Alpha 阶段实验性工具,不建议生产环境使用。

Rust
603
Stars
70
Forks
0
Watchers
0
Issues

Star 增长

今日0
近 7 天0
近 30 天0
综合评分43.55
默认分支main