gemma.cpp

gemma.cpp是Google的Gemma模型的轻量级独立C++推理引擎。该项目专注于简化和直接性，提供了Gemma-2、Gemma-3及PaliGemma-2模型的最小化实现，支持CPU上的仅推理操作，并具备TopK采样与温度调节等功能。此外，它还集成了混合精度GEMM（fp8, bf16, fp32, fp64）以优化性能，以及权重压缩技术来减少内存占用。gemma.cpp适合于实验研究场景使用，尤其适用于需要将模型嵌入到其他项目中或进行低级别计算修改的研究人员。其紧凑的设计（约2千行核心代码加上约4千行辅助工具代码）使得它易于集成且依赖少。对于追求高性能边缘部署的应用，建议考虑使用更成熟的Python框架如JAX、Keras等。