cactus

Cactus 是一个专为移动设备和可穿戴设备设计的低延迟AI引擎。其核心功能包括在ARM CPU上实现最快的推理速度、通过零拷贝内存映射技术将RAM使用量降低至其他引擎的十分之一、支持语音、视觉及语言模型的多模态处理，并能在需要时自动切换到云端模型以完成计算任务。此外，它还利用NPU加速预填充过程来提高能效。Cactus特别适合那些对实时性要求高且资源受限的应用场景，如智能手机上的语音识别、图像分析或自然语言处理等任务。