luigi
spotify
Luigi is a Python module that helps you build complex pipelines of batch jobs. It handles dependency resolution, workflow management, visualization etc. It also comes with Hadoop support built in.
AI 简介
Luigi 是一个用于构建和管理批处理作业工作流的 Python 框架。它提供任务依赖解析、自动调度、失败重试、状态可视化、命令行集成及 Hadoop/Spark/SQL 等多种后端支持，核心设计聚焦于可组合、可追踪、容错的长周期数据流水线。适用于 ETL 流程编排、数据仓库更新、机器学习特征工程流水线、定期报表生成等需要强依赖管理和可观测性的批处理场景。
Python
Apache License 2.018.7k
Stars
2.5k
Forks
446
Watchers
122
Issues
Star 增长
今日0
近 7 天0
近 30 天+3
综合评分70.3
默认分支master