cactus

Cactus 是一个面向移动设备与可穿戴设备的低延迟端侧AI推理引擎。它基于C++实现，专为ARM架构优化，提供零拷贝内存映射、SIMD加速内核和量化感知计算图，支持语音（STT）、语言（LLM）、视觉等多模态模型本地运行，并具备云回退能力。其核心优势在于极低RAM占用（较同类引擎降低约10倍）与高吞吐预填充性能，适用于智能手机、智能手表等资源受限终端上的实时AI交互场景，如离线语音助手、本地RAG问答与边缘智能应用。