zml

ZML 是一个生产级推理栈，旨在将AI工作负载与专有硬件解耦。其核心功能包括支持任意模型在多种硬件（如NVIDIA、AMD、TPU和Trainium）上运行，无需重写代码即可实现峰值性能。ZML 采用 Zig 语言、MLIR 和 Bazel 构建，确保了跨平台的高性能和灵活性。适用于需要高效利用不同硬件加速器进行AI推理的场景，特别是对性能要求高且希望避免厂商锁定的企业和研究机构。