server

Triton Inference Server 是一个优化的云和边缘推理解决方案。它支持多种深度学习和机器学习框架，包括TensorRT、PyTorch、ONNX等，能够在NVIDIA GPU、x86及ARM CPU或AWS Inferentia上运行。Triton提供了实时、批量、集成模型以及音视频流等多种查询类型的优化性能。适用于需要高性能推理服务的数据中心、云端以及边缘设备场景，帮助团队简化AI模型部署流程并提升效率。