onnxruntime

ONNX Runtime 是一个跨平台的机器学习推理和训练加速器。它支持来自 PyTorch、TensorFlow/Keras 以及 scikit-learn 等多种深度学习框架和经典机器学习库的模型，并能在不同硬件、驱动程序和操作系统上提供优化性能，通过利用硬件加速器（如适用）以及图优化和转换来提升速度。此外，ONNX Runtime 还可以通过在现有 PyTorch 训练脚本中添加一行代码来加速多节点 NVIDIA GPU 上的变压器模型训练时间。该项目适用于需要高性能机器学习推理或希望加快模型训练过程的各种应用场景。