waste

WASTE 是一个轻量级、无依赖的 C 语言推理引擎，专为在内存受限设备上运行超大规模 MoE 模型（如 2.78 万亿参数的 Kimi K3）而设计。它通过权重重流（streaming）机制，将不活跃专家权重按需从 NVMe 磁盘加载，仅将共享主干保留在 RAM 中，并利用剩余内存构建有界专家缓存；支持 3-bit 专家量化、线性注意力与压缩 KV 缓存，显著降低显存/内存占用。适用于消费级硬件（如 64GB 内存 MacBook Pro）上的本地全参数大模型推理场景，无需模型蒸馏或剪枝。