TinyEdgeBench

TinyEdgeBench 是一个可复现的本地基准测试套件，用于在用户自己的CPU和GPU上进行低比特边缘AI性能评估。其核心功能包括支持超过100个算子微基准测试、25种以上的网络/块预设，并能生成包含内存使用、P90/标准差延迟及估计CUDA能耗等指标的CSV、Markdown和PNG格式报告。此外，它还提供了一个交互式的CLI向导和Streamlit Web UI界面，方便用户配置和运行测试。该工具适用于需要对特定硬件（如笔记本电脑或边缘设备）上的算子性能、精度误差折中、后端比较等方面做出决策的场景，特别适合于边缘AI开发人员在选择最佳部署方案时使用。