luigi
spotify
Luigi is a Python module that helps you build complex pipelines of batch jobs. It handles dependency resolution, workflow management, visualization etc. It also comes with Hadoop support built in.
AI 简介
Luigi 是一个 Python 模块，用于构建复杂的批处理作业流水线。它支持依赖解析、工作流管理和可视化等功能，并内置了 Hadoop 支持。通过 Luigi，用户可以轻松地将各种任务（如 Hadoop 作业、数据库操作、机器学习算法等）串联起来，自动化执行并处理失败情况。该工具非常适合需要长时间运行且涉及多个步骤的数据处理场景，例如大数据分析、ETL 流程或机器学习模型训练等。
Python
Apache License 2.018.7k
Stars
2.4k
Forks
447
Watchers
121
Issues
Star 增长
今日+1
近 7 天+6
近 30 天+24
综合评分77.4
默认分支master