prefect

Prefect 是一个面向 Python 的工作流编排框架，用于构建高韧性、可观测的数据管道。它提供声明式任务定义、自动重试、依赖调度、缓存、事件驱动触发、运行时状态追踪及可观测性支持，支持本地执行、自托管服务器或云服务部署。其设计强调开发体验与生产可靠性平衡，无需复杂配置即可将脚本升级为可监控、可恢复的生产级流程。适用于数据工程、机器学习运维（MLOps）、ETL 自动化、定时批处理及跨系统数据集成等场景。