spark-ai-copilot

Spark AI Copilot 是一个专为数据工程师设计的智能助手，基于 Next.js 构建，主要功能包括 Spark 作业诊断、数仓资产管理以及 SQL 成本优化。该项目通过自动解析 Spark 应用程序 ID 来识别并解决如 JOIN 热点 Key 和 GROUP BY 聚合倾斜等常见问题，并提供相应的改写建议和参数配置；同时支持快速查找字段定义及业务口径，帮助理解复杂的数据链路；此外，它还能分析 SQL 的计算资源消耗情况，给出具体的成本节约方案。采用 TypeScript 编写，使用 Tailwind CSS 进行样式设计，并通过 Streaming Chat API 实现与 AI 的交互。适用于需要提高 Spark 任务效率、优化数据仓库管理和降低 SQL 执行成本的各种大数据处理场景。