[112] 大数据Spark SQL慕课网日志分析 – 网盘下载 -

[112] 大数据Spark SQL慕课网日志分析 - 网盘下载风筝自习室-课程资源-网盘资源风筝自习室
[112] 大数据Spark SQL慕课网日志分析 – 网盘下载 -
此内容为付费阅读,请付费后查看
500积分
付费阅读

image

网站资源均收集于公开网络,仅供学习和交流。版权归版权人所有,所标价格为资源收集整理费用,如喜欢作品请支持正版。

网盘链接:

1. 初探大数据

  • 1-1 导学
  • 1-2 -如何学好大数据
  • 1-3 -开发环境介绍
  • 1-4 -OOTB镜像文件使用介绍
  • 1-5 -大数据概述
  • 1-6 -Hadoop概述
  • 1-7 -HDFS概述及设计目标
  • 1-8 -HDFS架构
  • 1-9 -HDFS副本机制
  • 1-10 -Hadoop下载及JDK安装
  • 1-11 -机器参数设置
  • 1-12 -HDFS核心配置文件内容配置
  • 1-13 -HDFS格式化及启停
  • 1-14 -HDFS shell常用操作
  • 1-15 -HDFS优缺点
  • 1-16 -MapReduce概述
  • 1-17 -MapReduce编程模型及WordCount案例
  • 1-18 -YARN产生背景
  • 1-19 -YARN架构和执行流程
  • 1-20 -YARN环境搭建及提交作业到YARN上运行
  • 1-21 -Hive产生背景及Hive是什么
  • 1-22 -为什么要使用Hive及Hive发展历程
  • 1-23 -Hive体系架构及部署架构
  • 1-24 -Hive环境搭建
  • 1-25 -Hive基本使用

2. Spark及其生态圈概述

  • 2-1 -课程目录
  • 2-2 -Spark概述及特点
  • 2-3 -Spark产生背景
  • 2-4 -Spark发展历史
  • 2-5 -Spark Survey
  • 2-6 -Spark对比Hadoop
  • 2-7 -Spark和Hadoop的协作性

3. 实战环境搭建

  • 3-1 -课程目录
  • 3-2 -Spark源码编译
  • 3-3 补录:Spark源码编译中的坑
  • 3-4 Spark Local模式环境搭建
  • 3-5 Spark Standalone模式环境搭建
  • 3-6 Spark简单使用

4. Spark SQL概述

  • 4-1 课程目录
  • 4-2 -Spark SQL前世今生
  • 4-3 -SQL on Hadoop常用框架介绍
  • 4-4 -Spark SQL概述
  • 4-5 -Spark SQL愿景
  • 4-6 -Spark SQL架构

5. 从Hive平滑过渡到Spark SQL

  • 5-1 -课程目录
  • 5-2 -A SQLContext的使用
  • 5-3 -B HiveContext的使用
  • 5-4 -C SparkSession的使用
  • 5-5 spark-shell&spark-sql的使用
  • 5-6 -thriftserver&beeline的使用
  • 5-7 -jdbc方式编程访问

6. DataFrame&Dataset

  • 6-1 -课程目录
  • 6-2 -DataFrame产生背景
  • 6-3 -DataFrame概述
  • 6-4 -DataFrame和RDD的对比
  • 6-5 -DataFrame基本API操作
  • 6-6 -DataFrame与RDD互操作方式一
  • 6-7 -DataFrame与RDD互操作方式二
  • 6-8 -DataFrame API操作案例实战
  • 6-9 -Dataset概述及使用

7. External Data Source

  • 7-1 -课程目录
  • 7-2 -产生背景
  • 7-3 -概述
  • 7-4 -目标
  • 7-5 -操作Parquet文件数据
  • 7-6 -操作Hive表数据
  • 7-7 -操作MySQL表数据
  • 7-8 -Hive和MySQL综合使用

8. SparkSQL愿景

  • 8-1 -A SparkSQL愿景之一写更少的代码(代码量和可读性)
  • 8-2 -B SparkSQL愿景之一写更少的代码(统一访问操作接口)
  • 8-3 -C SparkSQL愿景之一写更少的代码(强有力的API支持)
  • 8-4 -D SparkSQL愿景之一些更少的代码(Schema推导)
  • 8-5 -E SparkSQL愿景之一写更少的代码(Schema Merge)
  • 8-6 -F SparkSQL愿景之一写更少的代码(Partition Discovery)
  • 8-7 -G SparkSQL愿景之一写更少的代码(执行速度更快)
  • 8-8 -SparkSQL愿景之二读取更少的数据
  • 8-9 -SparkSQL愿景之三让查询优化器帮助我们优化执行效率
  • 8-10 -SparkSQL愿景总结

9. 慕课网日志实战

  • 9-1 -课程目录
  • 9-2 -用户行为日志概述
  • 9-3 -离线数据处理架构
  • 9-4 -项目需求
  • 9-5 imooc网主站日志内容构成
  • 9-6 数据清洗之第一步原始日志解析
  • 9-7 -数据清洗之二次清洗概述
  • 9-8 -数据清洗之日志解析
  • 9-9 -数据清洗之ip地址解析
  • 9-10 -数据清洗存储到目标地址
  • 9-11 -需求一统计功能实现
  • 9-12 -Scala操作MySQL工具类开发
  • 9-13 -需求一统计结果写入到MySQL
  • 9-14 -需求二统计功能实现
  • 9-15 -需求二统计结果写入到MySQL
  • 9-16 -需求三统计功能实现
  • 9-17 -需求三统计结果写入到MySQL
  • 9-18 -代码重构之删除指定日期已有的数据
  • 9-19 -功能实现之数据可视化展示概述
  • 9-20 -ECharts饼图静态数据展示
  • 9-21 -ECharts饼图动态展示之一查询MySQL中的数据
  • 9-22 -ECharts饼图动态展示之二前端开发
  • 9-23 -使用Zeppelin进行统计结果的展示
  • 9-24 -Spark on YARN基础
  • 9-25 -数据清洗作业运行到YARN上
  • 9-26 -统计作业运行在YARN上
  • 9-27 -性能优化之存储格式的选择
  • 9-28 -性能调优之压缩格式的选择
  • 9-29 -性能优化之代码优化
  • 9-30 -性能调优之参数优化

10. Spark SQL扩展和总结

  • 10-1 -课程目录
  • 10-2 -Spark SQL使用场景
  • 10-3 -Spark SQL加载数据
  • 10-4 -DataFrame与SQL的对比
  • 10-5 -Schema
  • 10-6 -SaveMode
  • 10-7 -处理复杂的JSON数据
  • 10-8 -SQL的覆盖程度
  • 10-9 -外部数据源

11. 补充内容

  • 11-1 -课程安排
  • 11-2 -外部数据源接口
  • 11-3 -JDBC外部数据源实现源码分析
  • 11-4 -文本数据自定义外部数据源实现案例分享

12. (彩蛋番外篇)Spark升级及新特性

  • 12-1 Spark版本升级
  • 12-2 Spark SQL中Time Window的使用
  • 12-3 Spark SQL中的Repartition和Coalesce的使用
  • 12-4 Spark SQL中Catalog的用法

13. (讨论群内直播内容分享)透过SQL语法表象深入掌握底层执行过程

  • 13-1 为什么要掌握SQL的执行流程
  • 13-2 select执行流程
  • 13-3 group by执行流程
  • 13-4 join执行流程
© 版权声明
THE END
加入本站 VIP,免费下载本站所有内容
点赞13 分享
评论 抢沙发

请登录后发表评论

    暂无评论内容