dagster

Dagster 是一个用于开发、生产和监控数据资产的编排平台。它支持声明式的编程模型，允许用户通过 Python 函数定义数据资产，并自动管理这些资产的更新和执行流程。Dagster 提供了集成的数据血缘追踪和可观测性功能，确保数据处理过程的透明性和可调试性。此外，该工具还具备一流的测试能力，有助于提高数据工程项目的可靠性和维护效率。适用于需要构建复杂数据流水线（如 ETL 作业、机器学习模型训练等）以及追求高效运维的数据科学团队或企业。