zml

ZML 是一个面向生产环境的 AI 推理运行时栈，旨在实现模型与硬件的解耦，支持在 NVIDIA、AMD、Google TPU、AWS Trainium/Inferentia 等多种加速器上原生高性能推理。其核心基于 Zig 语言构建，深度集成 MLIR 进行跨平台编译优化，并采用 Bazel 实现可复现的构建流程；支持 Hugging Face、本地路径及 S3 模型加载，开箱支持 Llama、Qwen 等主流开源 LLM。适用于需要统一部署、多硬件适配与低开销推理的边缘计算、云服务及 HPC 场景。