BitNet

BitNet 是微软推出的面向 1.58-bit 量化大语言模型（LLM）的轻量级高效推理框架，支持 CPU 和 GPU（含 NPU 规划）上的快速、无损推理。其核心特点是采用定制化低比特计算内核，显著提升吞吐并大幅降低能耗（x86 CPU 能耗减少 71.9%–82.2%），可在单颗 CPU 上运行百亿参数模型，实现 5–7 token/s 的本地实时推理。适用于边缘设备、低功耗终端及资源受限场景下的离线 LLM 部署。