data-juicer

Data-Juicer 是一个面向大模型时代的数据操作系统，专为预训练、指令微调与RAG等AI任务提供端到端的数据处理能力。它支持文本、图像、多模态数据的清洗、去重、过滤、增强与合成，具备200+可组合算子、50+开箱即用处理流程（Recipes），并原生支持分布式计算与云原生部署。项目采用声明式配置与Python API双模式，兼容单机与千节点集群，无需编写胶水代码。适用于大模型数据准备、高质量语料构建、合成数据生成及AI数据闭环优化等场景。