
WayfinderRouter
itsthelore
Simple CLI tool for deterministic routing of queries between local and hosted LLM models
AI 简介
WayfinderRouter 是一个轻量级命令行工具,用于在本地与托管大语言模型之间进行确定性查询路由。它通过静态分析提示词的结构(如长度、标题、列表、代码块)和语义特征(如数学表达式、严格约束、证明类表述)生成 0.0–1.0 的离线复杂度评分,无需调用任何模型或网络请求即可完成毫秒级路由决策。支持用户自定义阈值、校准数据集及多层级后端模型组合。适用于成本敏感、低延迟要求或需完全离线运行的混合推理场景,例如本地知识库问答、边缘设备辅助推理和企业私有化LLM网关。
Python
Apache License 2.0375
Stars
21
Forks
1
Watchers
2
Issues
Star 增长
今日0
近 7 天0
近 30 天+6
综合评分44.63
默认分支main