离线计算引擎Spark Core
共22课节
赵渝强
主讲老师
老师
二讲老师
课程大纲
课程详情
第1章
先导课
第1讲
先导课
第2章
Spark基础
第2讲
什么是Spark？
第5讲
Spark的体系架构
第8讲
使用spark-submit提交Spark任务
第11讲
使用spark-shell执行Spark任务
第14讲
Spark HA之基于文件系统的单点恢复
第17讲
基于ZooKeeper实现Spark的HA
第3章
Spark RDD
第3讲
什么是Spark RDD？
第6讲
使用Transformation的基础算子
第9讲
使用Transformation的高级算子mapPartitionsWithIndex
第12讲
使用Transformation的高级算子aggregate和aggregateByKe
第15讲
使用coalesce与repartition算子
第18讲
使用Action算子
第20讲
RDD的依赖关系和任务执行的阶段
第21讲
RDD的检查点机制
第22讲
RDD的缓存机制
第4章
Spark编程案例
第4讲
开发Scala版本的WordCount程序
第7讲
分析Spark WordCount数据处理的过程
第10讲
开发Java版本的WordCount程序
第13讲
求网站访问量的PV值
第16讲
创建自定义分区
第19讲
在Spark中访问数据库