[513] Spark+ES+ClickHouse 构建DMP用户画像 - 营销增长是企业的永恒使命，选对业务风口，技术变现更快速

网盘链接：

1. DMP用户画像项目介绍

• 1-1 关于这门课，你需要知道的
• 1-2 DMP项目的意义和课程的侧重点
• 1-3 DMP项目架构及各个模块介绍
• 1-4 项目技术选型及各组件版本
• 1-5 【知识点梳理】本章重难点总结

2. 项目环境搭建

• 2-1 本章重点及学习计划
• 2-2 基于docker一键部署大数据开发环境
• 2-3 【项目文档】环境部署步骤
• 2-4 数据准备：表结构和数据导入Hive数仓
• 2-5 【项目文档】表结构和数据导入Hive数仓步骤
• 2-6 数据准备：Hive，ES，ClickHouse导入人群标签数据
• 2-7 【项目文档】Hive，ES，ClickHouse导入人群标签数据步骤
• 2-8 环境搭建和数据导入的常见问题及解决方案
• 2-9 【项目文档】 项目整体架构及整体流程
• 2-10 【项目文档】Hive、Hbase、ES、clickhouse表结构
• 2-11 Springboot+JdbcTemplate+druid整合Hive（上）
• 2-12 Springboot+JdbcTemplate+druid整合Hive（下）
• 2-13 Springboot+Mybatis+phoenix整合Hbase
• 2-14 Springboot整合ClickHouse（上）
• 2-15 Springboot整合ClickHouse（下）
• 2-16 Spark+phoenix整合Hbase

3. DMP和用户画像

• 3-1 本章重点及学习计划
• 3-2 用户画像是如何生成的
• 3-3 用户画像的标签维度
• 3-4 如何构建高质量的用户画像
• 3-5 用户画像和特征工程
• 3-6 DMP用户画像的正确使用场景
• 3-7 【知识点梳理】本章重难点总结

4. 用户画像搭建之特征工程

• 4-1 本章重点及学习计划
• 4-2 特征工程流程
• 4-3 数值型数据的特征提取
• 4-4 文本型数据的特征提取
• 4-5 使用Spark实现中文分词+TF-IDF
• 4-6 Spark基于TF-IDF+SVM实现电商商品评论情感提取（上）
• 4-7 Spark基于TF-IDF+SVM实现电商商品评论情感提取（下）
• 4-8 类别型和时间型数据的特征提取
• 4-9 构建新特征之特征交叉
• 4-10 基于FM的特征交叉
• 4-11 Spark实现基于FM的特征交叉
• 4-14 特征筛选之GBDT和xgboost
• 4-15 Spark实现基于Xgboost的特征筛选（上）
• 4-16 Spark实现基于Xgboost的特征筛选（下）
• 4-17 特征监控方案设计
• 4-18 【知识点梳理】本章重难点总结

5. 用户画像搭建之标签体系构建

• 5-1 本章重点及学习计划
• 5-2 电商行业的标签体系以及reachCTR曲线
• 5-3 用户行为标签的ES存储
• 5-4 基于TF-IDF的标签权重算法（上）
• 5-5 基于TF-IDF的标签权重算法（中）
• 5-6 基于TF-IDF的标签权重算法（下）
• 5-7 时间衰减因子和用户偏好标签的计算（上）
• 5-8 时间衰减因子和用户偏好标签的计算（下）
• 5-9 ES构建Hbase二级索引对标签进行组合查询
• 5-10 商品标签与用户画像标签的匹配度
• 5-11 【知识点梳理】本章重难点总结

6. 用户画像搭建之群体用户画像构建

• 6-1 本章重点及学习计划
• 6-2 朴素贝叶斯分类算法
• 6-3 使用Spark-ml实现基于朴素贝叶斯预测性别（上）
• 6-4 使用Spark-ml实现基于朴素贝叶斯预测性别（中）
• 6-5 使用Spark-ml实现基于朴素贝叶斯预测性别（下）
• 6-6 基于RFM模型的用户价值划分及Spark代码（上）
• 6-7 基于RFM模型的用户价值划分及Spark代码（下）
• 6-8 使用Spark-ml实现基于Kmeans的用户消费分群
• 6-9 通过订单数据挖掘用户的的行为属性及Spark代码（上）
• 6-10 通过订单数据挖掘用户的的行为属性及Spark代码（下）
• 6-11 DMP的用户分群
• 6-12 【知识点梳理】本章重难点总结

7. 用户画像搭建之DMP人群管理

• 7-1 本章重点及学习计划
• 7-2 通过不同算法给用户打上标签后的业务应用
• 7-3 ES，ClickHouse导入万级人群标签数据
• 7-4 Mysql导入标签数据
• 7-5 DMP的标签管理
• 7-6 DMP生成人群包数据
• 7-7 人群组合和人群去重
• 7-8 lookalike的主要算法
• 7-9 ClickHouse和ES在人群圈选上的对比
• 7-10 ClickHouse集成Bitmap
• 7-11 基于宽表的ClickHouse人群圈选
• 7-12 将Hive数据导入到ClickHouse
• 7-13 将Hive数据转换为ClickHouse的Bitmap
• 7-14 基于Bitmap的ClickHouse人群圈选
• 7-15 本章知识点梳理

8. 项目展示及版本升级解决方案

• 8-1 项目完整演示（上）
• 8-2 项目完整演示（下）
• 8-3 Spark模块本地运行完整演示
• 8-4 Spark模块集群运行完整演示（上）
• 8-5 Spark模块集群运行完整演示（下）
• 8-6 版本升级解决方案
• 8-7 课程总结