[385] SparkSQL入门 整合Kudu实现广告业务数据分析 - 每个大数据工程师都不应错过的必备大数据开发技能

网盘链接：

1. 课程介绍&学习指南

• 1-1 课程导学
• 1-2 ***学前必读***（助你平稳踩坑，畅学无忧，课程学习与解决问题指南）

2. 为什么要学Spark

• 2-1 课程目录
• 2-2 MapReduce的槽点
• 2-3 Spark特性详解
• 2-4 Spark Stack
• 2-5 OOTB环境的使用
• 2-6 JDK部署
• 2-7 Maven部署
• 2-8 IDEA部署
• 2-9 HDFS部署
• 2-10 YARN部署
• 2-11 Hive部署
• 2-12 Spark运行模式
• 2-13 使用IDEA和Maven开发第一个Spark应用程序
• 2-14 词频统计按照单词出现次数的降序排列
• 2-15 local模式下spark-shell的使用
• 2-16 local模式下使用spark-submit提交Spark应用程序
• 2-17 YARN模式下提交Spark应用程序
• 2-18 Standalone模式下提交Spark应用程序
• 2-19 Hadoop和Spark生态圈对比
• 2-20 Hadoop与Spark对比
• 2-21 Spark和Hadoop的相互协作

3. Spark SQL快速入门

• 3-1 课程目录
• 3-2 为什么需要SQL
• 3-3 SQL on Hadoop
• 3-4 详解Spark SQL是什么以及常见误区解读
• 3-5 Spark SQL概述
• 3-6 为什么要学习Spark SQL
• 3-7 Spark SQL架构
• 3-8 spark-shell使用详解
• 3-9 spark-sql使用详解并结合讲解Catalyst的执行过程
• 3-10 spark-shell启动流程分析之uname以及case匹配的使用
• 3-11 spark-shell启动流程分析之dirname和if的使用
• 3-12 spark-shell启动流程分析之传递参数详解
• 3-13 spark-shell启动流程分析之spark-submit
• 3-14 spark-sql启动流程分析

4. Spark SQL API编程

• 4-1 课程目录
• 4-2 认知SparkSession
• 4-3 了解SQLContext
• 4-4 认识DataFrame
• 4-5 DataFrame API基本使用
• 4-6 DataFrame中前N条的取值方式
• 4-7 通过实战案例学习DataFrame常用API
• 4-8 Dataset概述及操作
• 4-9 DataFrame vs Dataset
• 4-10 Interoperating with RDD概述
• 4-11 实现方式一
• 4-12 实现方式二

5. Data Source API

• 5-1 课程目录
• 5-2 Data Source概述
• 5-3 text数据源读写案例
• 5-4 SaveMode的使用详解
• 5-5 json数据源案例
• 5-6 Data Source API标准写法
• 5-7 Parquet数据源案例
• 5-8 Data Source格式转换
• 5-9 jdbc数据源案例
• 5-10 通过统一配置参数管理工程中使用到的参数
• 5-11 【讨论题】关于拉链表得思考

6. 整合Hive操作及函数

• 6-1 课程目录
• 6-2 Spark对接Hive的原理及实操
• 6-3 thriftserver&beeline的使用
• 6-4 使用代码连接Server
• 6-5 Server模式vs例行作业模式(思考题)
• 6-6 hive数据源案例
• 6-7 Spark SQL内置函数实战
• 6-8 Spark SQL自定义UDF实战
• 6-9 【讨论题】关于Spark ThriftServer的HA问题

7. Kudu入门

• 7-1 课程目录
• 7-2 kudu概述&核心概念&架构
• 7-3 kudu部署
• 7-4 API操作之创建表
• 7-5 API操作之插入数据&删除表&数据查询
• 7-6 API操作之修改表数据及表名
• 7-7 Spark整合Kudu的读写操作

8. 基于Spark SQL和Kudu的广告业务项目实战（一）

• 8-1 课程目录
• 8-2 广告业务背景
• 8-3 项目需求
• 8-4 项目架构及数据处理流程
• 8-5 日志字段说明
• 8-6 需求一之IP规则库解析
• 8-7 需求一之使用API编程完成日志ip字段解析
• 8-8 需求一之使用SQL方式完成日志ip字段解析
• 8-9 需求一之ODS数据落地到Kudu
• 8-10 需求一之落地到Kudu表重构
• 8-11 需求二功能实现
• 8-12 需求一二代码结构大重构

9. 基于Spark SQL和Kudu的广告业务项目实战（二）

• 9-1 课程目录
• 9-2 需求三之第一阶段统计功能实现
• 9-3 需求三之第二阶段统计功能实现
• 9-4 需求三之统计结果落地到Kudu
• 9-5 需求四功能实现
• 9-6 通过参数传递到Spark作业重构代码并打包
• 9-7 将项目运行在服务器上
• 9-8 定时调度提交Spark作业到服务器运行
• 9-9 本章节小结

10. Spark调优策略

• 10-1 课程目录
• 10-2 调优之资源设置
• 10-3 广播变量在Spark中的使用一
• 10-4 广播变量在Spark中是使用二
• 10-5 广播变量思考题(重要)
• 10-6 Shuffle调优
• 10-7 Spark与GC相关概念理解
• 10-8 JVM GC引起的问题调优
• 10-9 其他调优
• 10-10 【讨论题】关于数据倾斜的思考

11. Presto初识

• 11-1 课程目录
• 11-2 Presto是什么&能做什么&谁在使用它
• 11-3 Presto架构
• 11-4 Presto部署
• 11-5 整合MySQL Connector
• 11-6 整合Hive Connector
• 11-7 Presto整合多个Connector操作
• 11-8 Presto API操作

12. 云平台建设的思考

• 12-1 课程目录
• 12-2 大数据项目和平台的差异性对比
• 12-3 认知云平台能为我们提供的能力
• 12-4 大数据云平台功能架构
• 12-5 数据湖架构
• 12-6 数据存储和计算角度剖析
• 12-7 资源角度剖析
• 12-8 兼容性角度剖析
• 12-9 执行引擎和运行方式适配角度剖析
• 12-10 Spark和Flink的选择
• 12-11 【讨论题】关于小文件的思考

13. （讨论群内直播内容分享）Spark3新特性

• 13-1 Spark概述
• 13-2 Spark3.x新特性
• 13-3 DataSource API V2
• 13-4 动态分区裁剪
• 13-5 自适应查询执行
• 13-6 【讨论题】简历项目问题

14. 【福利加餐】Spark SQL必考的SQL功能及窗口函数

• 14-1 课程目录
• 14-2 行转列功能需求分析
• 14-3 行转列数据准备
• 14-4 列转行功能需求分析
• 14-5 转行功能实现
• 14-6 窗口函数概述
• 14-7 窗口函数之累计求和操作
• 14-8 窗口函数之窗口划分原则
• 14-9 窗口函数之NTILE的使用
• 14-10 窗口函数之ROW_NUMBER&RANK&DENSE_RANK
• 14-11 窗口函数之LEAD&LAG
• 14-12 窗口函数之FIRST_VALUE和LAST_VALUE
• 14-13 窗口函数之CUME_DIST&PERCENT_RANK
• 14-14 窗口函数实战之数据准备
• 14-15 窗口函数实战之功能一实现
• 14-16 窗口函数实战之功能二实现
• 14-17 窗口函数实战之功能三实现
• 14-18 窗口函数实战之功能四实现
• 14-19 作业

15. 【福利加餐】基于Spark SQL的UDF函数开发及使用

• 15-1 01-课程目录
• 15-2 02-SQL结合自定义UDF函数
• 15-3 03-API结合自定义UDF函数
• 15-4 04-自定义UDF函数实现拼接功能
• 15-5 05-自定义UDAF函数
• 15-6 06-自定义UDAF函数扩展