cog

Cog 是一个开源工具，用于将机器学习模型打包为标准化、可生产的容器镜像。它通过声明式配置（cog.yaml）和 Python 预测接口自动构建兼容 CUDA 的 Docker 镜像，内置 CUDA/cuDNN/PyTorch/TensorFlow 版本兼容性管理、依赖缓存优化、类型驱动的 OpenAPI 接口生成，以及基于 Rust/Axum 的高性能 HTTP 预测服务。适用于需快速部署 ML 模型至自有基础设施或云平台（如 Replicate）的生产场景，显著降低容器化门槛与运维复杂度。