cog

Cog 是一个用于将机器学习模型打包成生产就绪标准容器的开源工具。其核心功能包括通过简单的配置文件自动生成包含最佳实践的 Docker 镜像，自动处理 CUDA、cuDNN 与 PyTorch 或 TensorFlow 的兼容性问题，以及使用标准 Python 定义模型输入输出以生成 OpenAPI 模式。此外，Cog 还能基于模型类型动态生成高性能的 RESTful HTTP API 服务器。适合于需要快速部署机器学习模型至任何支持 Docker 镜像运行环境中的场景，无论是私有基础设施还是 Replicate 平台。