
QuantClaw-plugin
SparkEngineAI
QuantClaw is a plug-and-play task-type routing quantization plugin for OpenClaw.
AI 简介
QuantClaw 是一个面向 OpenClaw 框架的即插即用型任务感知量化路由插件,用于自动识别请求任务类型,并按需将请求动态路由至 4bit/8bit/16bit 等不同精度级别的模型实例。其核心基于对 24 类任务、104 个具体任务及多规模大模型(9B–744B)的实证量化评估,支持 BF16、FP8、NVFP4 等格式,在保障关键任务(如编程、安全、复杂工作流)质量的同时显著降低推理延迟与计算成本。适用于需要在服务质量、响应速度与资源开销之间精细权衡的 LLM 服务中台或企业级 AI 推理平台。
TypeScript
MIT License115
Stars
1
Forks
1
Watchers
0
Issues
Star 增长
今日0
近 7 天0
近 30 天0
综合评分40.9
默认分支main