granite-switch

Granite Switch 是一个面向大语言模型（LLM）的可组合式推理框架，支持通过即插即用的适配器函数（如 RAG、安全过滤、事实核查等）动态构建定制化 AI 模型。其核心技术包括基于 LoRA 的激活式适配器（aLoRA），实现多任务共享 KV 缓存、零额外内存开销与低延迟推理；所有适配器遵循严格输入输出契约，并在 token 级别由 Mellea 强制执行类型安全。适用于需快速迭代、模块化部署、资源受限或强调任务精度与可控性的 LLM 服务场景，如企业级问答系统、合规敏感型应用及边缘侧轻量推理。