BitNet

BitNet是微软官方推出的一个用于1-bit大语言模型的推理框架。它提供了优化的内核，支持在CPU和GPU上对1.58-bit模型进行快速且无损的推理，未来还将支持NPU。该框架通过一系列技术优化，在ARM和x86架构的CPU上实现了显著的速度提升（最高可达6.17倍）及能耗降低（最高可达82.2%），并且能够在单个CPU上运行高达100B参数规模的模型。此外，最新版本引入了并行内核实现与可配置的分块及嵌入量化支持，进一步提升了不同硬件平台上的性能。BitNet特别适用于需要在边缘设备或资源受限环境中高效运行大型语言模型的应用场景。