TensorRT

TensorRT 是 NVIDIA 推出的高性能深度学习推理 SDK，专为在 NVIDIA GPU 上优化 AI 模型推理而设计。其核心功能包括模型优化（如层融合、精度校准、INT8/FP16 量化）、高效引擎构建与部署，支持 ONNX、PyTorch、TensorFlow 等主流框架导出的模型。技术特点涵盖静态图编译、运行时低延迟调度及插件扩展机制。适用于对延迟和吞吐量要求严苛的生产环境，如自动驾驶实时感知、云端 AI 服务、边缘智能设备等推理场景。