semantic-router

vLLM Semantic Router 是一个面向大语言模型（LLM）场景的系统级智能路由中间件，用于在混合模型（Mixture-of-Models）架构中动态调度请求至最适配的模型实例。其核心功能包括基于语义信号的路由决策、LLM安全防护（如PII检测、提示注入识别、幻觉拦截）以及跨云-边-端环境的Token经济优化。采用Go语言实现，支持与Hugging Face、vLLM等主流推理后端集成，具备低延迟、高并发和可扩展特性。适用于需要多模型协同、成本敏感型LLM服务编排、企业级AI网关及边缘侧隐私保护推理的生产场景。