granite-switch

Granite Switch 是一个用于构建和部署AI模型的工具，旨在让开发者像构建软件一样灵活地组合和使用AI模型。其核心功能包括通过适配器函数（adapter functions）实现模型组件化，这些函数针对特定任务进行了优化，并且可以独立更新或替换。技术上，Granite Switch 基于激活的LoRA技术（Activated LoRA），允许多个适配器共享同一KV缓存，从而在不增加内存消耗或延迟的情况下提供多种能力。它特别适合需要高效、准确执行特定任务但又希望保持系统灵活性的应用场景，如企业级AI服务开发与维护。