edge-lm

edge-lm 是一个面向边缘设备部署的轻量化大语言模型（LLM）运行框架，专为 Apple Silicon Mac 和 iPhone 等终端设备优化。它提供经深度压缩的 Gemma-4 模型变体（E2B/E4B），通过 MLX 兼容的分组量化与 AQLM 风格 PLE 表向量编码，在保持指令遵循、工具调用和通用知识能力的前提下，实现最高 7 倍模型体积缩减（最小仅 1.44 GB）。适用于对延迟敏感、内存受限的本地化 AI 助手场景，如离线语音交互、隐私优先的智能输入法或嵌入式设备上的实时问答。