[417] 玩转热门框架 用企业级思维 开发通用够硬的大数据平台 - 原理+实战+面试 带你一次学习掌握大数据项目开发通用技术

[417] 玩转热门框架 用企业级思维 开发通用够硬的大数据平台风筝自习室-课程资源-网盘资源风筝自习室
[417] 玩转热门框架 用企业级思维 开发通用够硬的大数据平台 - 原理+实战+面试 带你一次学习掌握大数据项目开发通用技术
此内容为付费阅读,请付费后查看
500积分
付费阅读

image

网站资源均收集于公开网络,仅供学习和交流。版权归版权人所有,所标价格为资源收集整理费用,如喜欢作品请支持正版。

网盘链接:

1. 课程导学与学习指南

  • 1-1 导学【课程背景、项目速览】
  • 1-2 怎么更好的使用慕课平台
  • 1-3 你真的会问问题吗?

2. 认识企业中的大数据平台

  • 2-1 课程简介与学习建议
  • 2-2 什么是大数据平台
  • 2-3 【讨论题】怎样入门大数据?
  • 2-4 为什么要建设大数据平台【三个解决、两个提升】
  • 2-5 大数据平台常用技术栈有哪些【知识体系梳理、我们要用哪些】
  • 2-6 各大企业大数据平台对比【作业:画出我们的平台架构和这些对比一下】

3. 大数据平台 —— 数据仓库之离线&实时

  • 3-1 数据仓库VS数据库
  • 3-2 数据仓库分层建设
  • 3-3 Hive是什么【上期思考揭秘:分层的弊端,如何解决】
  • 3-4 Hive安装部署【课下任务:预习Hive和Mysql的区别,Hive都有哪些表?】
  • 3-5 【实操手册】Hive安装部署
  • 3-6 Hive基本使用(上)Hive数据类型/分区/基础语法
  • 3-7 Hive基本使用(中)内部表/外部表/分区表/分桶表
  • 3-8 Hive基本使用(下)内置函数/自定义函数/实现UDF
  • 3-9 【作业解答】Hive自定义函数注册
  • 3-10 Hive存储结构 ORCFile
  • 3-11 【梳理】Hive知识梳理总结
  • 3-12 Hive常见面试题
  • 3-13 离线数仓VS实时数仓
  • 3-14 图解Lambda架构数据流程
  • 3-15 Kappa 架构 VS Lambda
  • 3-16 主流大公司的实时数仓架构

4. 大数据平台——数据仓库之权限管理

  • 4-1 权限管理(上)Hadoop/Hive自带权限控制
  • 4-2 权限管理(下)实操Hive的权限操作
  • 4-3 Kerberos认证简介【对称/非对称加密、数字证书、图解Kerberos流程】
  • 4-4 Apache Ranger简介【图解Ranger架构、Ranger管理HDFS、Hive、Yarn举例】
  • 4-5 【讨论题】数据安全问题
  • 4-6 Apache Rangr安装
  • 4-7 Ranger HDFS Plugin安装
  • 4-8 Ranger Hive Plugin安装
  • 4-9 【实操手册】Apache Ranger安装部署
  • 4-10 Ranger Api Java开发之User管理
  • 4-11 Ranger Api Java开发之Policy管理
  • 4-12 数据采集介绍【图解数据采集流程】
  • 4-13 常用数据采集工具【图解Sqoop、Flume、DataX】
  • 4-14 Datax数据采集实战
  • 4-15 【作业解答】Datax完成数据的导入导出
  • 4-16 数据治理简介【要解决的问题、元数据、数据血缘】
  • 4-17 Apache Atlas数据治理【图解Atlas架构】
  • 4-18 数据仓库常见面试题

5. 大数据平台 —— 调度系统

  • 5-1 我们需要一个调度系统【任务处理现状、调度系统通用功能】
  • 5-2 Azkaban介绍【常用开源调度框架对比】
  • 5-3 Azkaban架构与调度流程【图解核心交互流程】
  • 5-4 Azkaban安装部署
  • 5-5 提交Azkaban任务
  • 5-6 【实操手册】Azkaban安装部署及基础使用
  • 5-7 Azkaban用户代理
  • 5-8 Java程序操作Azkaban Api (上)
  • 5-9 Java程序操作Azkaban Api(下)
  • 5-10 调度系统相关面试指导

6. 大数据平台 —— 计算引擎

  • 6-1 Spark简介【Hadoop VS Spark、图解Spark生态】
  • 6-2 Spark架构及执行流程【根据图解了解Spark名词】
  • 6-3 RDD简介及特性【图解WordCount示例中RDD如何转换】
  • 6-4 RDD依赖关系【图解Stage划分】
  • 6-5 Spark三种部署模式实战
  • 6-6 【实操手册】Spark三种部署模式及基本操作
  • 6-7 Spark程序开发
  • 6-8 SparkSQL简介【RDD VS DataFrame】
  • 6-9 SparkSQL程序开发
  • 6-10 Spark 自定义UDF开发
  • 6-11 Spark程序开发原则与基础优化【常见调优策略、持久化级别】
  • 6-12 Spark 数据倾斜调优
  • 6-13 【实操手册】Zeppelin安装与使用
  • 6-14 Spark面试题答疑
  • 6-15 【面试题】你遇到过哪些记忆深刻的大数据面试题

7. 大数据平台建设 —— SQL查询引擎

  • 7-1 大数据查询引擎Presto简介【作业:了解其他的SQL on Hadoop方案】
  • 7-2 【讨论题】大数据就是做一个SQL Boy吗
  • 7-3 Presto架构与执行流程
  • 7-4 Presto安装部署
  • 7-5 通过Jdbc操作Presto
  • 7-6 Presto UDF开发(上)
  • 7-7 Presto UDF开发(下)
  • 7-8 Presto EventListener开发
  • 7-9 【实操手册】Presto on Yarn
  • 7-10 Presto配置优化
  • 7-11 Presto章节小结

8. 大数据平台建设 —— 监控预警

  • 8-1 监控系统介绍
  • 8-2 【讨论题】经常需要值班的大数据开发人员如何提高幸福感?
  • 8-3 常用开源监控项目对比【Zabbix VS OpenFalcon VS Prometheus】
  • 8-4 OpenFalcon各个组件介绍
  • 8-5 OpenFalcon单机版部署
  • 8-6 【实战手册】OpenFalcon 安装
  • 8-7 OpenFalcon基本使用
  • 8-8 OpenFalcon邮件网关安装
  • 8-9 实现OpenFalcon对Hadoop服务状态报警
  • 8-10 自定义Plugin开发
  • 8-11 Push数据脚本开发
  • 8-12 【实操手册】Grafana安装并使用OpenFalcon数据源
  • 8-13 Grafana监控大盘配置
  • 8-14 监控系统 章节小结

9. 大数据平台建设 —— 管理整合、任务定制

  • 9-1 Naga数据平台介绍
  • 9-2 Naga大数据平台功能介绍
  • 9-3 Naga 开发工具及基本类介绍
  • 9-4 集群概览模块实体类开发
  • 9-5 集群概览模块核心功能开发
  • 9-6 集群概览接口开发及测试
  • 9-7 业务线Entity开发
  • 9-8 Hadoop及Hive Client开发
  • 9-9 业务线Controller开发
  • 9-10 任务管理模块介绍
  • 9-11 插件抽象及解析代码开发
  • 9-12 插件接口及测试
  • 9-13 任务流程实体类开发
  • 9-14 创建流程及提交流程开发
  • 9-15 【实操手册】生成azkaban job文件
  • 9-16 插件参数及变量介绍
  • 9-17 引用参数解析方法开发
  • 9-18 插件SDK模块开发
  • 9-19 Java插件开发示例
  • 9-20 Spark插件开发示例
  • 9-21 【实操手册】Naga Plugin Python SDK开发

10. 系统集成及可视化

  • 10-1 数据查询架构介绍
  • 10-2 QueryObject开发
  • 10-3 【实操手册】Java DataFrame设计
  • 10-4 DataFrame Wrapper开发
  • 10-5 数据查询缓存
  • 10-6 数据查询接口开发
  • 10-7 数据可视化模块介绍
  • 10-8 多种图表setting抽象
  • 10-9 图表数据查询类
  • 10-10 可视化接口开发及测试
  • 10-11 Naga平台用户模型介绍
  • 10-12 用户登录认证功能
  • 10-13 用户权限认证功能
  • 10-14 审计日志功能
  • 10-15 【梳理介绍】 Naga大数据平台前端框架介绍
  • 10-16 前端开发框架运行
  • 10-17 前端开发及前后端联调实现
  • 10-18 【实操手册】业务线管理前端开发
  • 10-19 【实操手册】数据查询功能界面开发
  • 10-20 【实操手册】可视化图表界面开发
  • 10-21 【梳理总结】前端开发过程中常见问题
  • 10-22 【彩蛋加餐】Naga 数据平台操作手册
  • 10-23 课程总结
© 版权声明
THE END
加入本站 VIP,免费下载本站所有内容
点赞9 分享
评论 抢沙发

请登录后发表评论

    暂无评论内容