[385] SparkSQL入门 整合Kudu实现广告业务数据分析 - 每个大数据工程师都不应错过的必备大数据开发技能

[385] SparkSQL入门 整合Kudu实现广告业务数据分析风筝自习室-课程资源-网盘资源风筝自习室
[385] SparkSQL入门 整合Kudu实现广告业务数据分析 - 每个大数据工程师都不应错过的必备大数据开发技能
此内容为付费阅读,请付费后查看
500积分
付费阅读

image

网站资源均收集于公开网络,仅供学习和交流。版权归版权人所有,所标价格为资源收集整理费用,如喜欢作品请支持正版。

网盘链接:

1. 课程介绍&学习指南

  • 1-1 课程导学
  • 1-2 ***学前必读***(助你平稳踩坑,畅学无忧,课程学习与解决问题指南)

2. 为什么要学Spark

  • 2-1 课程目录
  • 2-2 MapReduce的槽点
  • 2-3 Spark特性详解
  • 2-4 Spark Stack
  • 2-5 OOTB环境的使用
  • 2-6 JDK部署
  • 2-7 Maven部署
  • 2-8 IDEA部署
  • 2-9 HDFS部署
  • 2-10 YARN部署
  • 2-11 Hive部署
  • 2-12 Spark运行模式
  • 2-13 使用IDEA和Maven开发第一个Spark应用程序
  • 2-14 词频统计按照单词出现次数的降序排列
  • 2-15 local模式下spark-shell的使用
  • 2-16 local模式下使用spark-submit提交Spark应用程序
  • 2-17 YARN模式下提交Spark应用程序
  • 2-18 Standalone模式下提交Spark应用程序
  • 2-19 Hadoop和Spark生态圈对比
  • 2-20 Hadoop与Spark对比
  • 2-21 Spark和Hadoop的相互协作

3. Spark SQL快速入门

  • 3-1 课程目录
  • 3-2 为什么需要SQL
  • 3-3 SQL on Hadoop
  • 3-4 详解Spark SQL是什么以及常见误区解读
  • 3-5 Spark SQL概述
  • 3-6 为什么要学习Spark SQL
  • 3-7 Spark SQL架构
  • 3-8 spark-shell使用详解
  • 3-9 spark-sql使用详解并结合讲解Catalyst的执行过程
  • 3-10 spark-shell启动流程分析之uname以及case匹配的使用
  • 3-11 spark-shell启动流程分析之dirname和if的使用
  • 3-12 spark-shell启动流程分析之传递参数详解
  • 3-13 spark-shell启动流程分析之spark-submit
  • 3-14 spark-sql启动流程分析

4. Spark SQL API编程

  • 4-1 课程目录
  • 4-2 认知SparkSession
  • 4-3 了解SQLContext
  • 4-4 认识DataFrame
  • 4-5 DataFrame API基本使用
  • 4-6 DataFrame中前N条的取值方式
  • 4-7 通过实战案例学习DataFrame常用API
  • 4-8 Dataset概述及操作
  • 4-9 DataFrame vs Dataset
  • 4-10 Interoperating with RDD概述
  • 4-11 实现方式一
  • 4-12 实现方式二

5. Data Source API

  • 5-1 课程目录
  • 5-2 Data Source概述
  • 5-3 text数据源读写案例
  • 5-4 SaveMode的使用详解
  • 5-5 json数据源案例
  • 5-6 Data Source API标准写法
  • 5-7 Parquet数据源案例
  • 5-8 Data Source格式转换
  • 5-9 jdbc数据源案例
  • 5-10 通过统一配置参数管理工程中使用到的参数
  • 5-11 【讨论题】关于拉链表得思考

6. 整合Hive操作及函数

  • 6-1 课程目录
  • 6-2 Spark对接Hive的原理及实操
  • 6-3 thriftserver&beeline的使用
  • 6-4 使用代码连接Server
  • 6-5 Server模式vs例行作业模式(思考题)
  • 6-6 hive数据源案例
  • 6-7 Spark SQL内置函数实战
  • 6-8 Spark SQL自定义UDF实战
  • 6-9 【讨论题】关于Spark ThriftServer的HA问题

7. Kudu入门

  • 7-1 课程目录
  • 7-2 kudu概述&核心概念&架构
  • 7-3 kudu部署
  • 7-4 API操作之创建表
  • 7-5 API操作之插入数据&删除表&数据查询
  • 7-6 API操作之修改表数据及表名
  • 7-7 Spark整合Kudu的读写操作

8. 基于Spark SQL和Kudu的广告业务项目实战(一)

  • 8-1 课程目录
  • 8-2 广告业务背景
  • 8-3 项目需求
  • 8-4 项目架构及数据处理流程
  • 8-5 日志字段说明
  • 8-6 需求一之IP规则库解析
  • 8-7 需求一之使用API编程完成日志ip字段解析
  • 8-8 需求一之使用SQL方式完成日志ip字段解析
  • 8-9 需求一之ODS数据落地到Kudu
  • 8-10 需求一之落地到Kudu表重构
  • 8-11 需求二功能实现
  • 8-12 需求一二代码结构大重构

9. 基于Spark SQL和Kudu的广告业务项目实战(二)

  • 9-1 课程目录
  • 9-2 需求三之第一阶段统计功能实现
  • 9-3 需求三之第二阶段统计功能实现
  • 9-4 需求三之统计结果落地到Kudu
  • 9-5 需求四功能实现
  • 9-6 通过参数传递到Spark作业重构代码并打包
  • 9-7 将项目运行在服务器上
  • 9-8 定时调度提交Spark作业到服务器运行
  • 9-9 本章节小结

10. Spark调优策略

  • 10-1 课程目录
  • 10-2 调优之资源设置
  • 10-3 广播变量在Spark中的使用一
  • 10-4 广播变量在Spark中是使用二
  • 10-5 广播变量思考题(重要)
  • 10-6 Shuffle调优
  • 10-7 Spark与GC相关概念理解
  • 10-8 JVM GC引起的问题调优
  • 10-9 其他调优
  • 10-10 【讨论题】关于数据倾斜的思考

11. Presto初识

  • 11-1 课程目录
  • 11-2 Presto是什么&能做什么&谁在使用它
  • 11-3 Presto架构
  • 11-4 Presto部署
  • 11-5 整合MySQL Connector
  • 11-6 整合Hive Connector
  • 11-7 Presto整合多个Connector操作
  • 11-8 Presto API操作

12. 云平台建设的思考

  • 12-1 课程目录
  • 12-2 大数据项目和平台的差异性对比
  • 12-3 认知云平台能为我们提供的能力
  • 12-4 大数据云平台功能架构
  • 12-5 数据湖架构
  • 12-6 数据存储和计算角度剖析
  • 12-7 资源角度剖析
  • 12-8 兼容性角度剖析
  • 12-9 执行引擎和运行方式适配角度剖析
  • 12-10 Spark和Flink的选择
  • 12-11 【讨论题】关于小文件的思考

13. (讨论群内直播内容分享)Spark3新特性

  • 13-1 Spark概述
  • 13-2 Spark3.x新特性
  • 13-3 DataSource API V2
  • 13-4 动态分区裁剪
  • 13-5 自适应查询执行
  • 13-6 【讨论题】简历项目问题

14. 【福利加餐】Spark SQL必考的SQL功能及窗口函数

  • 14-1 课程目录
  • 14-2 行转列功能需求分析
  • 14-3 行转列数据准备
  • 14-4 列转行功能需求分析
  • 14-5 转行功能实现
  • 14-6 窗口函数概述
  • 14-7 窗口函数之累计求和操作
  • 14-8 窗口函数之窗口划分原则
  • 14-9 窗口函数之NTILE的使用
  • 14-10 窗口函数之ROW_NUMBER&RANK&DENSE_RANK
  • 14-11 窗口函数之LEAD&LAG
  • 14-12 窗口函数之FIRST_VALUE和LAST_VALUE
  • 14-13 窗口函数之CUME_DIST&PERCENT_RANK
  • 14-14 窗口函数实战之数据准备
  • 14-15 窗口函数实战之功能一实现
  • 14-16 窗口函数实战之功能二实现
  • 14-17 窗口函数实战之功能三实现
  • 14-18 窗口函数实战之功能四实现
  • 14-19 作业

15. 【福利加餐】基于Spark SQL的UDF函数开发及使用

  • 15-1 01-课程目录
  • 15-2 02-SQL结合自定义UDF函数
  • 15-3 03-API结合自定义UDF函数
  • 15-4 04-自定义UDF函数实现拼接功能
  • 15-5 05-自定义UDAF函数
  • 15-6 06-自定义UDAF函数扩展
© 版权声明
THE END
加入本站 VIP,免费下载本站所有内容
点赞10 分享
评论 抢沙发

请登录后发表评论

    暂无评论内容