onnxruntime

ONNX Runtime 是一个跨平台的机器学习模型推理与训练加速器，支持 ONNX 格式模型在 CPU、GPU 及各类硬件加速器（如 NVIDIA GPU、Intel AVX、AMD ROCm、Qualcomm QNN）上高效运行。其核心功能包括图优化、算子融合、硬件后端插件（EP）扩展及对 PyTorch/TensorFlow/scikit-learn 等主流框架导出模型的无缝兼容；训练加速模块可显著缩短 Transformer 类模型在多节点 GPU 上的训练时间。适用于需要高性能、低延迟部署的 AI 服务、边缘计算、云推理及大规模模型训练等生产场景。