flash-moe

Flash-MoE 是一个专为 Apple Silicon Mac 设计的轻量级大模型推理引擎，可在 48GB 内存的 MacBook Pro 上实时运行 3970 亿参数 MoE 模型（Qwen3.5-397B-A17B）。其核心基于纯 C/Objective-C 实现，依托 Metal 自定义计算着色器、SSD 按需专家流式加载、FMA 优化的 4-bit 反量化内核及 GPU 协同调度，实现 4.36+ tokens/秒的稳定吞吐与完整工具调用能力。适用于本地离线大模型部署、边缘 AI 推理、教育演示及资源受限场景下的 MoE 模型验证。