[410] Spark + ElasticSearch 构建电商用户标签系统 - Java开发转型大数据开发 一课带你赶上大数据时代

[410] Spark + ElasticSearch 构建电商用户标签系统风筝自习室-课程资源-网盘资源风筝自习室
[410] Spark + ElasticSearch 构建电商用户标签系统 - Java开发转型大数据开发 一课带你赶上大数据时代
此内容为付费阅读,请付费后查看
500积分
付费阅读

image

网站资源均收集于公开网络,仅供学习和交流。版权归版权人所有,所标价格为资源收集整理费用,如喜欢作品请支持正版。

网盘链接:

1. 课程介绍与学习指南

  • 1-1 课程导学
  • 1-2 如何更好的使用慕课平台

2. 开发环境与技术栈介绍

  • 2-1 开发环境—virtualbox介绍
  • 2-2 开发环境—docker介绍
  • 2-3 开发环境—虚拟机与docker容器技术的对比
  • 2-4 开发环境—vagrant介绍
  • 2-5 itag项目的技术栈介绍
  • 2-6 【讨论题】docker容器技术会彻底取代虚拟机吗?

3. 大数据环境搭建

  • 3-1 作业讲解
  • 3-2 virtualbox , vagrant 你安装好了吗?
  • 3-3 virtualbox安装ubuntu
  • 3-4 ubuntu系统的启动与验证
  • 3-5 vagrant创建虚拟机环境
  • 3-6 用vagrantfile进行详细设置
  • 3-7 ubuntu安装docker、 docker-compose
  • 3-8 Docker安装以及使用的小贴士
  • 3-9 老师,为什么我的docker-compose启动不了呢?
  • 3-10 zsh shell辅助软件安装与配置
  • 3-11 docker 和 docker-compose 小试牛刀
  • 3-12 大数据环境安装
  • 3-13 大数据环境验证与测试
  • 3-14 docker-compose.yml讲解
  • 3-15 本章作业
  • 3-16 【问答补充】事先用docker建立es_network网络
  • 3-17 【技巧补充】docker pull 速度太慢?配个镜像加速吧!
  • 3-18 【讨论题】真程序员,用Linux命令行为何如此受追捧?

4. itag用户标签系统介绍

  • 4-1 前章作业重难点回顾及问题答疑
  • 4-2 现有业务介绍
  • 4-3 花三分钟聊一下用户画像
  • 4-4 主要数据库及表结构介绍
  • 4-5 itag系统介绍、用它来干什么?
  • 4-6 【讨论题】所谓的大数据用户画像,真的准吗?
  • 4-7 本章作业

5. 数据同步

  • 5-1 作业答疑、本章内容大纲介绍
  • 5-2 sqoop简单介绍
  • 5-3 数据同步架构的1.0版本
  • 5-4 数据同步架构2.0及两个拓展问题的解决
  • 5-5 Hive简介及架构
  • 5-6 Hive实操(一)及docker 文件拷贝
  • 5-7 Hive实操(二)及面试题讲解
  • 5-8 Hive外部表介绍
  • 5-9 sqoop 安装与配置
  • 5-10 sqoop 安装及mysql 数据导入脚本
  • 5-11 hiver-server中安装sqoop,替换apt源
  • 5-12 sqoop 将mysql数据导入到hive
  • 5-13 【讨论题】数据同步框架需要解决那些问题?

6. 数据清洗

  • 6-1 数据平台是什么?包含哪些节点
  • 6-2 数据血缘有什么用?如何保证?
  • 6-3 数据分层的原因、规划以及真实项目经验分享
  • 6-4 准备测试数据
  • 6-5 Spark Java代码准备及docker网络打通
  • 6-6 我的笔记本如何访问虚拟机中的docker网络?
  • 6-7 Spark 清洗任务的JAVA实现
  • 6-8 准备scala开发环境
  • 6-9 Spark 清洗任务的Scala实现
  • 6-10 老师,我的代码本地运行报错,winutils.exe 找不到
  • 6-11 Spark SQL 处理ETL任务及本章作业
  • 6-12 【讨论题】你真的了解ETL吗?

7. 指标算法及标签ETL

  • 7-1 内容介绍及虚拟环境的管理
  • 7-2 指标算法说明及环境准备
  • 7-3 数据大盘算法指标
  • 7-4 会员性别指标算法及ETL结果的ORM操作
  • 7-5 注册渠道、是否关注指标实现及IF函数的用法
  • 7-6 用户热度指标实现及crossjoin的一些思考
  • 7-7 环比指标的实现
  • 7-8 提醒类指标实现
  • 7-9 折现图指标实现、JOIN实现、GMV指标算法(上)
  • 7-10 折现图指标实现、JOIN实现、GMV指标算法(下)
  • 7-11 漏斗指标实现思路及指标算法的测试验证
  • 7-12 ES环境创建及Spark操作ES演示(上)
  • 7-13 ES环境创建及Spark操作ES演示(下)
  • 7-14 ES mapping 设计思路及JavaBean实现
  • 7-15 ES 操作及命令
  • 7-16 标签ETL代码实现
  • 7-17 ES数据查询及ETL结果验证
  • 7-18 标签清洗算法

8. itag UI

  • 8-1 本章介绍
  • 8-2 springboot及项目结构介绍
  • 8-3 DSL查询语句演练
  • 8-4 标签页面前端技术介绍及数据结构推导
  • 8-5 前端代码实现思路及演示
  • 8-6 后端DSL代码拼接及文件下载实现(上)
  • 8-7 后端DSL代码拼接及文件下载实现(下)
  • 8-8 DSL语句验证和标签管理功能的思路
  • 8-9 springboot 多环境配置项指定及ETL结果存储的思路
  • 8-10 springboot项目的Docker 启动方式

9. 课程总结

  • 9-1 docker补充及数仓topic分享
  • 9-2 订单宽表及hive视图的作用
  • 9-3 spark 执行过程分析-logical plan
  • 9-4 利用logicalplan 采集元数据信息
  • 9-5 简短的课程总结
© 版权声明
THE END
加入本站 VIP,免费下载本站所有内容
点赞13 分享
评论 抢沙发

请登录后发表评论

    暂无评论内容