[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"project-3985":3},{"id":4,"name":5,"fullName":6,"owner":7,"repo":5,"description":8,"homepage":9,"htmlUrl":10,"language":11,"languages":10,"totalLinesOfCode":10,"stars":12,"forks":13,"watchers":14,"openIssues":15,"contributorsCount":16,"subscribersCount":16,"size":16,"stars1d":17,"stars7d":18,"stars30d":19,"stars90d":16,"forks30d":16,"starsTrendScore":20,"compositeScore":21,"rankGlobal":10,"rankLanguage":10,"license":10,"archived":22,"fork":22,"defaultBranch":23,"hasWiki":24,"hasPages":22,"topics":25,"createdAt":10,"pushedAt":10,"updatedAt":43,"readmeContent":44,"aiSummary":45,"trendingCount":16,"starSnapshotCount":16,"syncStatus":46,"lastSyncTime":47,"discoverSource":48},3985,"BigData-Notes","heibaiying\u002FBigData-Notes","heibaiying","大数据入门指南  :star:","",null,"Java",16904,4286,447,19,0,3,8,16,11,45,false,"master",true,[26,27,28,29,30,31,32,33,34,35,36,37,38,39,40,41,42],"azkaban","big-data","bigdata","flume","hadoop","hbase","hdfs","hive","kafka","mapreduce","phoenix","scala","spark","sqoop","storm","yarn","zookeeper","2026-06-12 02:00:57","# BigData-Notes\n\n\n\n\u003Cdiv align=\"center\"> \u003Cimg width=\"444px\" src=\"https:\u002F\u002Fgitee.com\u002Fheibaiying\u002FBigData-Notes\u002Fraw\u002Fmaster\u002Fpictures\u002Fbigdata-notes-icon.png\"\u002F> \u003C\u002Fdiv>\n\u003Cbr\u002F>\n\n**大数据入门指南**\n\n\n\n\u003Ctable>\n    \u003Ctr>\n      \u003Cth>\u003Cimg width=\"50px\" src=\"https:\u002F\u002Fgitee.com\u002Fheibaiying\u002FBigData-Notes\u002Fraw\u002Fmaster\u002Fpictures\u002Fhadoop.jpg\">\u003C\u002Fth>\n      \u003Cth>\u003Cimg width=\"50px\" src=\"https:\u002F\u002Fgitee.com\u002Fheibaiying\u002FBigData-Notes\u002Fraw\u002Fmaster\u002Fpictures\u002Fhive.jpg\">\u003C\u002Fth>\n      \u003Cth>\u003Cimg width=\"50px\" src=\"https:\u002F\u002Fgitee.com\u002Fheibaiying\u002FBigData-Notes\u002Fraw\u002Fmaster\u002Fpictures\u002Fspark.jpg\">\u003C\u002Fth>\n      \u003Cth>\u003Cimg width=\"50px\" src=\"https:\u002F\u002Fgitee.com\u002Fheibaiying\u002FBigData-Notes\u002Fraw\u002Fmaster\u002Fpictures\u002Fstorm.png\">\u003C\u002Fth>\n      \u003Cth>\u003Cimg width=\"50px\" src=\"https:\u002F\u002Fgitee.com\u002Fheibaiying\u002FBigData-Notes\u002Fraw\u002Fmaster\u002Fpictures\u002Fflink.png\">\u003C\u002Fth>\n      \u003Cth>\u003Cimg width=\"50px\" src=\"https:\u002F\u002Fgitee.com\u002Fheibaiying\u002FBigData-Notes\u002Fraw\u002Fmaster\u002Fpictures\u002Fhbase.png\">\u003C\u002Fth>\n      \u003Cth>\u003Cimg width=\"50px\" src=\"https:\u002F\u002Fgitee.com\u002Fheibaiying\u002FBigData-Notes\u002Fraw\u002Fmaster\u002Fpictures\u002Fkafka.png\">\u003C\u002Fth>\n      \u003Cth>\u003Cimg width=\"50px\" src=\"https:\u002F\u002Fgitee.com\u002Fheibaiying\u002FBigData-Notes\u002Fraw\u002Fmaster\u002Fpictures\u002Fzookeeper.jpg\">\u003C\u002Fth>\n      \u003Cth>\u003Cimg width=\"50px\" src=\"https:\u002F\u002Fgitee.com\u002Fheibaiying\u002FBigData-Notes\u002Fraw\u002Fmaster\u002Fpictures\u002Fflume.png\">\u003C\u002Fth>\n      \u003Cth>\u003Cimg width=\"50px\" src=\"https:\u002F\u002Fgitee.com\u002Fheibaiying\u002FBigData-Notes\u002Fraw\u002Fmaster\u002Fpictures\u002Fsqoop.png\">\u003C\u002Fth>\n      \u003Cth>\u003Cimg width=\"50px\" src=\"https:\u002F\u002Fgitee.com\u002Fheibaiying\u002FBigData-Notes\u002Fraw\u002Fmaster\u002Fpictures\u002Fazkaban.png\">\u003C\u002Fth>\n      \u003Cth>\u003Cimg width=\"50px\" src=\"https:\u002F\u002Fgitee.com\u002Fheibaiying\u002FBigData-Notes\u002Fraw\u002Fmaster\u002Fpictures\u002Fscala.jpg\">\u003C\u002Fth>\n    \u003C\u002Ftr>\n    \u003Ctr>\n      \u003Ctd align=\"center\">\u003Ca href=\"#一hadoop\">Hadoop\u003C\u002Fa>\u003C\u002Ftd>\n      \u003Ctd align=\"center\">\u003Ca href=\"#二hive\">Hive\u003C\u002Fa>\u003C\u002Ftd>\n      \u003Ctd align=\"center\">\u003Ca href=\"#三spark\">Spark\u003C\u002Fa>\u003C\u002Ftd>\n      \u003Ctd align=\"center\">\u003Ca href=\"#四storm\">Storm\u003C\u002Fa>\u003C\u002Ftd>\n      \u003Ctd align=\"center\">\u003Ca href=\"#五flink\">Flink\u003C\u002Fa>\u003C\u002Ftd>\n      \u003Ctd align=\"center\">\u003Ca href=\"#六hbase\">HBase\u003C\u002Fa>\u003C\u002Ftd>\n      \u003Ctd align=\"center\">\u003Ca href=\"#七kafka\">Kafka\u003C\u002Fa>\u003C\u002Ftd>\n      \u003Ctd align=\"center\">\u003Ca href=\"#八zookeeper\">Zookeeper\u003C\u002Fa>\u003C\u002Ftd>\n      \u003Ctd align=\"center\">\u003Ca href=\"#九flume\">Flume\u003C\u002Fa>\u003C\u002Ftd>\n      \u003Ctd align=\"center\">\u003Ca href=\"#十sqoop\">Sqoop\u003C\u002Fa>\u003C\u002Ftd>\n      \u003Ctd align=\"center\">\u003Ca href=\"#十一azkaban\">Azkaban\u003C\u002Fa>\u003C\u002Ftd>\n      \u003Ctd align=\"center\">\u003Ca href=\"#十二scala\">Scala\u003C\u002Fa>\u003C\u002Ftd>\n    \u003C\u002Ftr>\n  \u003C\u002Ftable>\n\u003Cbr\u002F>\n\n\u003Cdiv align=\"center\">\n\t\u003Ca href = \"https:\u002F\u002Fgithub.com\u002Fheibaiying\u002FFull-Stack-Notes\"> \n\t\u003Cimg width=\"150px\" src=\"https:\u002F\u002Fgitee.com\u002Fheibaiying\u002FBigData-Notes\u002Fraw\u002Fmaster\u002Fpictures\u002Fweixin.jpg\"\u002F> \n\t\u003C\u002Fa> \n\u003C\u002Fdiv>\n\u003Cdiv align=\"center\"> \u003Cstrong> 如果需要离线阅读，可以在公众号上发送 “bigdata” 获取《大数据入门指南》离线阅读版！ \u003C\u002Fstrong> \u003C\u002Fdiv>\n\n\u003Cbr\u002F>\n\n## :black_nib: 前  言\n\n1. [大数据学习路线](notes\u002F大数据学习路线.md)\n2. [大数据技术栈思维导图](notes\u002F大数据技术栈思维导图.md)        \n3. [大数据常用软件安装指南](notes\u002F大数据常用软件安装指南.md)\n\n## 一、Hadoop\n\n1. [分布式文件存储系统 —— HDFS](notes\u002FHadoop-HDFS.md)\n2. [分布式计算框架 —— MapReduce](notes\u002FHadoop-MapReduce.md)\n3. [集群资源管理器 —— YARN](notes\u002FHadoop-YARN.md)\n4. [Hadoop 单机伪集群环境搭建](notes\u002Finstallation\u002FHadoop单机环境搭建.md)\n5. [Hadoop 集群环境搭建](notes\u002Finstallation\u002FHadoop集群环境搭建.md)\n6. [HDFS 常用 Shell 命令](notes\u002FHDFS常用Shell命令.md)\n7. [HDFS Java API 的使用](notes\u002FHDFS-Java-API.md)\n8. [基于 Zookeeper 搭建 Hadoop 高可用集群](notes\u002Finstallation\u002F基于Zookeeper搭建Hadoop高可用集群.md)\n\n## 二、Hive\n\n1. [Hive 简介及核心概念](notes\u002FHive简介及核心概念.md)\n2. [Linux 环境下 Hive 的安装部署](notes\u002Finstallation\u002FLinux环境下Hive的安装部署.md)\n4. [Hive CLI 和 Beeline 命令行的基本使用](notes\u002FHiveCLI和Beeline命令行的基本使用.md)\n6. [Hive 常用 DDL 操作](notes\u002FHive常用DDL操作.md)\n7. [Hive 分区表和分桶表](notes\u002FHive分区表和分桶表.md)\n8. [Hive 视图和索引](notes\u002FHive视图和索引.md)\n9. [Hive 常用 DML 操作](notes\u002FHive常用DML操作.md)\n10. [Hive 数据查询详解](notes\u002FHive数据查询详解.md)\n\n## 三、Spark\n\n**Spark Core :**\n\n1. [Spark 简介](notes\u002FSpark简介.md)\n2. [Spark 开发环境搭建](notes\u002Finstallation\u002FSpark开发环境搭建.md)\n4. [弹性式数据集 RDD](notes\u002FSpark_RDD.md)\n5. [RDD 常用算子详解](notes\u002FSpark_Transformation和Action算子.md)\n5. [Spark 运行模式与作业提交](notes\u002FSpark部署模式与作业提交.md)\n6. [Spark 累加器与广播变量](notes\u002FSpark累加器与广播变量.md)\n7. [基于 Zookeeper 搭建 Spark 高可用集群](notes\u002Finstallation\u002FSpark集群环境搭建.md)\n\n**Spark SQL :**\n\n1. [DateFrame 和 DataSet ](notes\u002FSparkSQL_Dataset和DataFrame简介.md)\n2. [Structured API 的基本使用](notes\u002FSpark_Structured_API的基本使用.md)\n3. [Spark SQL 外部数据源](notes\u002FSparkSQL外部数据源.md)\n4. [Spark SQL 常用聚合函数](notes\u002FSparkSQL常用聚合函数.md)\n5. [Spark SQL JOIN 操作](notes\u002FSparkSQL联结操作.md)\n\n**Spark Streaming ：**\n\n1. [Spark Streaming 简介](notes\u002FSpark_Streaming与流处理.md)\n2. [Spark Streaming 基本操作](notes\u002FSpark_Streaming基本操作.md)\n3. [Spark Streaming 整合 Flume](notes\u002FSpark_Streaming整合Flume.md)\n4. [Spark Streaming 整合 Kafka](notes\u002FSpark_Streaming整合Kafka.md)\n\n## 四、Storm\n\n1. [Storm 和流处理简介](notes\u002FStorm和流处理简介.md)\n2. [Storm 核心概念详解](notes\u002FStorm核心概念详解.md)\n3. [Storm 单机环境搭建](notes\u002Finstallation\u002FStorm单机环境搭建.md)\n4. [Storm 集群环境搭建](notes\u002Finstallation\u002FStorm集群环境搭建.md)\n5. [Storm 编程模型详解](notes\u002FStorm编程模型详解.md)\n6. [Storm 项目三种打包方式对比分析](notes\u002FStorm三种打包方式对比分析.md)\n7. [Storm 集成 Redis 详解](notes\u002FStorm集成Redis详解.md)\n8. [Storm 集成 HDFS\u002FHBase](notes\u002FStorm集成HBase和HDFS.md)\n9. [Storm 集成 Kafka](notes\u002FStorm集成Kakfa.md)\n\n## 五、Flink\n\n1. [Flink 核心概念综述](notes\u002FFlink核心概念综述.md)\n2. [Flink 开发环境搭建](notes\u002FFlink开发环境搭建.md)\n3. [Flink Data Source](notes\u002FFlink_Data_Source.md)\n4. [Flink Data Transformation](notes\u002FFlink_Data_Transformation.md)\n4. [Flink Data Sink](notes\u002FFlink_Data_Sink.md)\n6. [Flink 窗口模型](notes\u002FFlink_Windows.md)\n7. [Flink 状态管理与检查点机制](notes\u002FFlink状态管理与检查点机制.md)\n8. [Flink Standalone 集群部署](notes\u002Finstallation\u002FFlink_Standalone_Cluster.md)\n\n\n## 六、HBase\n\n1. [Hbase 简介](notes\u002FHbase简介.md)\n2. [HBase 系统架构及数据结构](notes\u002FHbase系统架构及数据结构.md)\n3. [HBase 基本环境搭建 (Standalone \u002Fpseudo-distributed mode)](notes\u002Finstallation\u002FHBase单机环境搭建.md)\n4. [HBase 集群环境搭建](notes\u002Finstallation\u002FHBase集群环境搭建.md)\n5. [HBase 常用 Shell 命令](notes\u002FHbase_Shell.md)\n6. [HBase Java API](notes\u002FHbase_Java_API.md)\n7. [HBase 过滤器详解](notes\u002FHbase过滤器详解.md)\n8. [HBase 协处理器详解](notes\u002FHbase协处理器详解.md)\n9. [HBase 容灾与备份](notes\u002FHbase容灾与备份.md)\n10. [HBase的 SQL 中间层 —— Phoenix](notes\u002FHbase的SQL中间层_Phoenix.md)\n11. [Spring\u002FSpring Boot 整合 Mybatis + Phoenix](notes\u002FSpring+Mybtais+Phoenix整合.md)\n\n## 七、Kafka\n\n1. [Kafka 简介](notes\u002FKafka简介.md)\n2. [基于 Zookeeper 搭建 Kafka 高可用集群](notes\u002Finstallation\u002F基于Zookeeper搭建Kafka高可用集群.md)\n3. [Kafka 生产者详解](notes\u002FKafka生产者详解.md)\n4. [Kafka 消费者详解](notes\u002FKafka消费者详解.md)\n5. [深入理解 Kafka 副本机制](notes\u002FKafka深入理解分区副本机制.md)\n\n## 八、Zookeeper\n\n1. [Zookeeper 简介及核心概念](notes\u002FZookeeper简介及核心概念.md)\n2. [Zookeeper 单机环境和集群环境搭建](notes\u002Finstallation\u002FZookeeper单机环境和集群环境搭建.md) \n3. [Zookeeper 常用 Shell 命令](notes\u002FZookeeper常用Shell命令.md)\n4. [Zookeeper Java 客户端 —— Apache Curator](notes\u002FZookeeper_Java客户端Curator.md)\n5. [Zookeeper  ACL 权限控制](notes\u002FZookeeper_ACL权限控制.md)\n\n## 九、Flume\n\n1. [Flume 简介及基本使用](notes\u002FFlume简介及基本使用.md)\n2. [Linux 环境下 Flume 的安装部署](notes\u002Finstallation\u002FLinux下Flume的安装.md)\n3. [Flume 整合 Kafka](notes\u002FFlume整合Kafka.md)\n\n## 十、Sqoop\n\n1. [Sqoop 简介与安装](notes\u002FSqoop简介与安装.md)\n2. [Sqoop 的基本使用](notes\u002FSqoop基本使用.md)\n\n## 十一、Azkaban\n\n1. [Azkaban 简介](notes\u002FAzkaban简介.md)\n2. [Azkaban3.x 编译及部署](notes\u002Finstallation\u002FAzkaban_3.x_编译及部署.md)\n3. [Azkaban Flow 1.0 的使用](notes\u002FAzkaban_Flow_1.0_的使用.md)\n4. [Azkaban Flow 2.0 的使用](notes\u002FAzkaban_Flow_2.0_的使用.md)\n\n## 十二、Scala\n\n1. [Scala 简介及开发环境配置](notes\u002FScala简介及开发环境配置.md)\n2. [基本数据类型和运算符](notes\u002FScala基本数据类型和运算符.md)\n3. [流程控制语句](notes\u002FScala流程控制语句.md)\n4. [数组 —— Array](notes\u002FScala数组.md)\n5. [集合类型综述](notes\u002FScala集合类型.md)\n6. [常用集合类型之 —— List & Set](notes\u002FScala列表和集.md)\n7. [常用集合类型之 —— Map & Tuple](notes\u002FScala映射和元组.md)\n8. [类和对象](notes\u002FScala类和对象.md)\n9. [继承和特质](notes\u002FScala继承和特质.md)\n10. [函数 & 闭包 & 柯里化](notes\u002FScala函数和闭包.md)\n11. [模式匹配](notes\u002FScala模式匹配.md)\n12. [类型参数](notes\u002FScala类型参数.md)\n13. [隐式转换和隐式参数](notes\u002FScala隐式转换和隐式参数.md)\n\n## 十三、公共内容\n\n1. [大数据应用常用打包方式](notes\u002F大数据应用常用打包方式.md)\n\n\u003Cbr>\n\n## :bookmark_tabs: 后  记\n\n[资料分享与开发工具推荐](notes\u002F资料分享与工具推荐.md)\n\n\u003Cbr>\n\n\u003Cdiv align=\"center\">\n\t\u003Ca href = \"https:\u002F\u002Fblog.csdn.net\u002Fm0_37809146\"> \n\t\u003Cimg width=\"200px\" src=\"https:\u002F\u002Fgitee.com\u002Fheibaiying\u002FBigData-Notes\u002Fraw\u002Fmaster\u002Fpictures\u002Fblog-logo.png\"\u002F> \n\t\u003C\u002Fa> \n\u003C\u002Fdiv>\n\u003Cdiv align=\"center\"> \u003Ca  href = \"https:\u002F\u002Fblog.csdn.net\u002Fm0_37809146\"> 欢迎关注我的博客：https:\u002F\u002Fblog.csdn.net\u002Fm0_37809146\u003C\u002Fa> \u003C\u002Fdiv>\n","BigData-Notes 是一个大数据入门指南项目，旨在帮助初学者快速理解和掌握大数据技术栈。该项目涵盖了Hadoop、Hive、Spark、Storm、Flink等主流大数据处理框架和技术的详细介绍与实战教程，内容包括但不限于分布式文件系统HDFS、计算框架MapReduce、资源管理器YARN以及数据流处理工具Kafka等，并提供了详尽的技术文档和安装指南。此外，还包含了一些常用的大数据软件安装步骤，适合希望进入大数据领域或正在寻找全面学习资料的技术人员使用。",2,"2026-06-11 02:57:36","top_language"]