semantic-router

Semantic Router 是一个面向大语言模型与智能体的语义路由库，用于快速决策而非依赖慢速LLM生成结果。它基于语义向量空间对输入文本（或图像等多模态数据）进行实时分类与路由，支持本地模型（如Llama.cpp）、Hugging Face编码器及混合路由策略，具备低延迟、可扩展和轻量部署特点。适用于聊天机器人意图识别、AI代理工具选择、多路API分发、内容安全过滤等需毫秒级语义判断的场景。