
DataFlow
OpenDCAI
Easy Data Preparation with latest LLMs-based Operators and Pipelines.
AI 简介
DataFlow 是一个面向大语言模型(LLM)数据工程的轻量级数据准备工具,支持通过可组合的 LLM 驱动算子(Operators)构建端到端数据流水线。核心功能包括数据生成、清洗、标注、合成与格式转换,内置 Gradio 可视化界面,并兼容 SGLang 和 vLLM 后端以实现高效推理调度。项目强调快速迭代与低代码配置,适用于 LLM 训练数据构建、RAG 数据预处理、指令微调样本整理等场景,适合数据科学家与算法工程师在中小规模数据集上开展实验性或生产级数据准备任务。
Python
Apache License 2.06k
Stars
720
Forks
317
Watchers
8
Issues
Star 增长
今日0
近 7 天0
近 30 天+552
综合评分74.57
默认分支main