Tengine

Tengine 是一个轻量级、高性能的模块化推理引擎，专为嵌入式设备设计。它支持多种硬件加速器如CPU、GPU和NPU，并通过前后端分离的设计简化了异构计算单元上的移植与部署过程。Tengine 采用C++编写，具有良好的跨平台兼容性，能够高效解析并运行包括ONNX、TensorFlow在内的多种深度学习模型格式。特别适用于资源受限但需要快速响应的人工智能物联网（AIoT）应用场景，比如智能摄像头、机器人等边缘计算设备。此外，项目还提供了丰富的工具集来帮助用户完成模型转换、量化及性能评估等工作。