TinyEdgeBench

TinyEdgeBench 是一个面向边缘AI场景的轻量级本地基准测试工具，用于在用户自有CPU/GPU设备上量化评估低比特（如INT8）算子与模型模块的实际性能与精度损失。它支持多后端（PyTorch CPU/GPU、ONNX Runtime CPU/GPU、NumPy）对比，提供延迟（P90/中位数/标准差）、内存占用、CUDA能耗估算及精度误差分析，并生成可复现的CSV/Markdown/图表报告。项目采用YAML配置、CLI向导和Streamlit Web UI，强调本地环境栈（驱动、CUDA、PyTorch、ONNX Runtime）的真实反映，适用于边缘AI算法选型、硬件适配验证与部署前性能诊断。