[357] Spark进阶 大数据离线与实时项目实战 - 企业应用中Spark不可能单兵作战，掌握Spark与多个框架的结合运用才能真正应对实际需求

网盘链接：

1. 课程介绍&学习指南

• 1-1 课程介绍
• 1-2 ***学前必读***（助你平稳踩坑，畅学无忧，课程学习与解决问题指南）

2. Redis入门

• 2-1 课程目录
• 2-2 Redis概述
• 2-3 Redis特性
• 2-4 Redis应用场景
• 2-5 Redis部署&服务启停&客户端连接
• 2-6 Redis多数据库特性
• 2-7 Redis基础命令的使用
• 2-8 Redis数据类型之string
• 2-9 Redis数据类型之list
• 2-10 Redis基本数据类型之set
• 2-11 使用Jedis对Redis进行操作
• 2-12 Redis工具类开发

3. HBase入门

• 3-2 数据存储现状
• 3-3 HBase是什么
• 3-4 HBase在生态圈中的位置以及列式存储带来的好处
• 3-5 HBase的特点.mp4
• 3-6 HBase vs RDBMS vs HDFS.mp4
• 3-7 HBase的优势
• 3-8 HBase数据模型
• 3-9 JDK环境搭建
• 3-10 Hadoop环境部署(详解一个常见的错误解决方案)
• 3-11 ZooKeeper环境部署
• 3-12 HBase环境部署
• 3-13 HBase shell DDL操作
• 3-14 HBase shell DML操作
• 3-15 HBase API编程之开发前置准备工作
• 3-16 HBase API编程之创建表以及查询表和所有列族
• 3-17 HBase API编程之添加和修改记录
• 3-18 HBase API编程之通过RowKey获取值
• 3-19 HBase API编程之Scan
• 3-20 HBase API编程之Filter
• 3-21 HBase API编程之总结

4. 离线项目实战V1

• 4-1 课程目录
• 4-2 项目背景
• 4-3 项目处理流程.mp4
• 4-4 项目离线和实时架构图
• 4-5 明确架构图中每个步骤使用的技术以及职责所在
• 4-6 项目指标需求
• 4-7 功能开发之UserAgent解析(掌握如何获取技能)
• 4-8 功能开发之IP解析思路
• 4-9 功能开发之Spark和HBase依赖整合
• 4-10 开发环境依赖使用说明
• 4-11 功能开发之解析日志成DataFrame并为DataFrame添加字段信息
• 4-12 功能开发之将DF内容转成HBase要存储的列
• 4-13 功能开发之整体ETL流程详解及如何传参设计
• 4-14 功能开发之创建HBase表
• 4-15 功能开发之HBase Rowkey设计_1
• 4-16 功能开发之完成ETL数据到HBase落地的全过程
• 4-17 功能开发之完成第一个指标的统计分析
• 4-18 功能开发之完成第二个指标的统计分析
• 4-19 性能优化之缓存的使用
• 4-20 功能开发之统计功能使用DataFrame API以及SQL API来完成
• 4-21 本章小结
• 4-22 【讨论题】关于Spark RDD核心算子的思考

5. 离线项目实战优化

• 5-1 课程目录
• 5-2 Spark on YARN
• 5-3 Linux时间获取
• 5-4 shell封装Spark作业提交脚本
• 5-5 将统计结果写入到MySQL中
• 5-6 统计结果写入到MySQL调优
• 5-7 Spark ETL到HBase优化之禁用WAL
• 5-8 Spark ETL到HBase的HFile思路
• 5-9 Spark产生HFile文件格式准备工作
• 5-10 Spark产生HFile整个流程实现并总结
• 5-11 【讨论题】Spark OOM问题

6. 实时项目实战

• 6-1 课程目录
• 6-2 项目背景
• 6-3 项目架构及处理流程
• 6-4 项目需求
• 6-5 开发环境准备及参数配置统一管理
• 6-6 Kafka部署及测试
• 6-7 Mock数据
• 6-8 发送数据到Kafka
• 6-9 SparkStreaming对接Kafka数据
• 6-10 功能实现之每天的粒度统计..1
• 6-11 功能开发之调优
• 6-12 功能实现小结
• 6-13 功能实现之每小时统计及代码重构
• 6-14 SparkStreaming对接Kafka offset管理
• 6-15 【讨论题】SparkStreaming对接Kafka数据在项

7. 初识Alluxio

• 7-1 课程目录
• 7-2 概述
• 7-3 Spark应用存在的问题分析
• 7-4 Alluxio能为我们带来什么
• 7-5 Alluxio特点
• 7-6 在Spark实战项目中引入Alluxio
• 7-7 Alluxio部署
• 7-8 Alluxio文件系统命令行操作
• 7-9 Alluxio整合HDFS使用
• 7-10 Alluxio整合MapReduce使用
• 7-11 Alluxio整合Spark使用
• 7-12 Alluxio案例分享之在百度的使用
• 7-13 Alluxio案例分享之在去哪儿的应用

8. Spark优化

• 8-1 课程目录
• 8-2 调优之资源设置
• 8-3 调优之算子的合理选择
• 8-4 扩展之自定义排序一
• 8-5 扩展之自定义排序二(附带经典面试题)
• 8-6 扩展之自定义排序(隐式转换)
• 8-7 Spark Streaming调优之Kafka限速
• 8-8 Spark Streaming对接Kafka能真正做到仅消费一次吗
• 8-9 调优之序列化
• 8-10 调优之广播变量
• 8-11 【讨论题】数据倾斜的思考

9. （讨论群内直播内容分享）基于Spark定制ETL框架

• 9-1 Data Pipeline_x264
• 9-2 ETL中可能会遇到的问题_x264
• 9-3 (打标记处，3处听不清楚) Spark SQL DataSource API_x264
• 9-4 使用Spark SQL处理json数据_x264
• 9-5 基于Spark ETL框架的设计
• 9-6 基于Spark ETL框架的使用_x264

10. （讨论群内直播内容分享）Spark3新特性

• 10-1 Spark概述
• 10-2 Spark3.x新特性
• 10-3 DataSource API V2
• 10-4 动态分区裁剪
• 10-5 自适应查询执行
• 10-6 【讨论题】简历项目问题

11. 【2022持续升级】自定义HBase外部数据源

• 11-1 课程目录
• 11-2 课程使用框架版本更新
• 11-3 通过Spark对接MySQL数据引出外部数据源的核心位置
• 11-4 外部数据源核心类剖析
• 11-5 JDBC外部数据源源码详解
• 11-6 Spark对接HBase数据源开发之主体轮廓
• 11-7 HBase数据准备及对接方案
• 11-8 Spark对接HBase数据源开发之参数解析
• 11-9 Spark对接HBase数据源开发之schema方法
• 11-10 Spark对接HBase数据源开发之buildScan方法
• 11-11 Spark对接HBase数据源开发之使用SQL方式
• 11-12 Spark对接HBase数据源开发之扩展
• 11-13 Spark对接HBase数据源开发之总结