pachyderm

Pachyderm 是一个面向数据的分布式管道平台，提供端到端的数据版本控制、自动触发的数据流水线与完整数据血缘追踪。其核心基于 Kubernetes 构建，支持多阶段、语言无关的并行数据处理，底层使用对象存储实现高效去重与跨云/本地部署；通过声明式 Pipeline 定义和数据变更驱动执行，实现类似 CI/CD 的数据工程自动化。适用于需要强数据可追溯性、频繁迭代数据处理逻辑、多团队协作共享数据资产的场景，如机器学习特征工程、ETL 流水线治理与合规性审计等。