nixl

NIXL（NVIDIA Inference Xfer Library）是一个面向AI推理场景的高性能数据传输库，专注于加速推理框架（如NVIDIA Dynamo）中端到端的数据搬运。它通过模块化插件架构统一抽象CPU/GPU内存及文件、块、对象等存储后端，支持UCX和GDRCopy等底层通信优化，并提供C++核心与Python绑定接口。适用于需要低延迟、高吞吐跨设备/跨存储迁移推理数据的生产环境，尤其在GPU加速的在线服务、大模型推理流水线中可显著降低I/O瓶颈。