colibri

Colibri 是一个轻量级 C 语言推理引擎，专为在普通消费级设备（25GB 内存）上高效运行超大规模 MoE 模型 GLM-5.2（744B 参数）而设计。其核心技术包括：纯 C 实现、零外部依赖、磁盘流式加载路由专家（on-demand expert streaming）、整数精度（int4/int8）计算内核、MLA 注意力压缩 KV 缓存、原生 MTP 多令牌推测解码及异步专家预读。适用于资源受限环境下的本地大模型交互、离线推理与边缘部署，无需 GPU 或 Python 运行时。