gemma.cpp

gemma.cpp 是一个轻量级、独立的 C++ 推理引擎，专为 Google 开源的 Gemma 系列基础模型（包括 Gemma-2、Gemma-3 和 PaliGemma-2）提供 CPU 原生推理支持。核心功能涵盖纯 CPU 推理、Top-K/温度采样、反向传播（VJP）与 Adam 优化器支持，以及面向研究的混合精度 GEMM 计算（支持 fp8/bf16/fp32），集成权重压缩与运行时自动调优。项目采用极简设计（约 2K 行核心代码），依赖极少，便于嵌入、修改和算法协同研究。适用于边缘设备上的轻量部署、LLM 算法实验、教育演示及低依赖科研原型开发，不面向生产级 Python 框架替代场景。