tinyrouter
harrrshall
A tiny ~10K-parameter LLM router that learns which open-source model (deepseek-v4-pro / glm-5p2 / kimi-k2p6 via Fireworks) should answer each question and in what role, trained by evolution (sep-CMA-ES).
AI 简介
TinyRouter 是一个轻量级的大型语言模型路由协调器，用于动态选择最适合回答问题的开源模型（DeepSeek-V4-Pro、GLM-5P2、Kimi-K2P6）及其角色（思考者、执行者或验证者）。其核心由冻结的0.6B参数编码器和仅约10K参数的路由头组成，采用无梯度的可分CMA-ES进化算法，基于二元正确性奖励进行训练。项目不生成答案，仅学习“谁来答、以何种角色答”，适用于多模型协作推理、资源受限场景下的模型调度与成本敏感型API编排。
Python
295
Stars
32
Forks
82
Watchers
1
Issues
Star 增长
今日0
近 7 天0
近 30 天0
综合评分41.56
默认分支main