matmulfreellm

MatMul-Free LM 是一种无需矩阵乘法（MatMul）运算的大语言模型架构，通过线性注意力与位压缩线性层（BitLinear）替代传统Transformer中的密集矩阵乘操作。核心特点包括：兼容Hugging Face Transformers生态、支持370M至2.7B参数规模、采用FusedBitLinear和HGRNBitAttention等高效模块，并在同等计算量下展现出更优的缩放效率。适用于对推理延迟敏感、硬件资源受限（如边缘设备或低功耗GPU）的LLM部署场景，以及关注计算效率与能效比的模型研究与工程落地。