data_engineering_book

这是一本系统性讲解大模型时代数据工程实践的开源图书，覆盖预训练数据清洗、多模态对齐、指令微调与偏好数据构建、RAG数据流水线、合成数据生成、DataOps平台建设及隐私合规治理等全链路技术。项目以Python实现10个端到端实战（如Mini-C4流水线、法律领域SFT、多模态RAG财报助手），集成Ray、DVC、Milvus、CLIP、Trafilatura等现代数据栈工具，并强调数据质量评估、版本管理与可观测性。适用于AI团队构建高质量数据基础设施、提升LLM训练与应用效果，尤其适合算法工程师、数据工程师和AI平台建设者在实际项目中参考落地。