课程介绍【点这里免费试学】
某大型电商平台为对用户进行分析、个性化运营及广告推送，通过设计标签指标体系、开发数据、ETL调度、监控预警、人群计算与分析等开发环节搭建起画像系统。借助该系统针对不同业务场景输出个性化运营用户群的解决方案。
课程特色
1.规划全面：内容涵盖用户标签指标体系、数据分析、数据开发、ETL、搭建开发环境、kafka和hbase等常用大数据组件的介绍、画像的产品形态、如何打通数据服务层为各业务线提供接口服务，以及如何应用用户标签和效果评估；
2.实操性强：每章案例都进行详细的分析和开发过程讲解，附有相应的分析报告、文档以及代码。通过在搭建的虚拟机环境中执行任务，帮助学习者更好地理解工程上的实现方式和实现细节。
课程资料详细完整
录播视频课程，免费提供PPT资料、Word文档、随堂笔记、代码、数据建模SQL、Python脚本、指标体系Excel表格
技术说明
1. 开发语言：Scala、Python
2. 开发工具：IDEA
3. 主要技术：Hadoop2.7.5、Zookeeper-3.4.10、Hive-1.2.2、HBase1.2.6、Sqoop-1.4.7、Kafka_2.11-1.0.0、Spark-2.3.0-bin-hadoop2.7、mysql-5.6.33
课程目标
1.熟悉用户画像整个项目开发流程。
2.掌握电商用户画像如何建模。
3.熟练使用Hive、Spark SQL进行数据开发。
4.实现电商用户画像的数据开发。
适用人群
1.有一定的SQL基础
2.有一定的语言基础
3.有一定的大数据基础
课程服务
老师亲自参与，免费提供课程答疑服务
课程咨询
咨询QQ：84985152
咨询微信：84985152
技术交流QQ群：732021751
答疑QQ群（凭订单号加群）：735028076
讲师介绍
-
hunter
大讲台合作讲师 | 资深数据开发工程师
资深数据开发工程师，擅长Hadoop、Spark 等大数据技术，曾做过医疗、电商、游戏等多个领域用户画像项目，对数据爬虫、业务数据分析、用户画像系统搭建及应用有丰富项目经验。
课程大纲
| 第1章 用户画像基础知识 |
1.用户画像基础知识 2.开发用户画像需要用到技术 3.用户画像及其应用规划 4.用户标签应用实施方案 5.工程开发代码案例 6.需要开发的表结构设计 |
| 第3章 用户画像集群环境部署 |
1.搭建虚拟机开发环境 2.HDFS的安装及应用 3.Zookeeper的安装及应用 4.Spark的安装及应用 5.MySQL的安装及应用 6.Hive的安装及应用 7.Hbase的安装及应用 8.Sqoop的安装及应用 9.kafka的安装 |
| 第5章 标签数据开发 |
1.数据仓库基础知识 2.统计类标签开发案例 3.规则类标签开发案例 4.挖掘类标签开发案例 5.流式计算标签开发—kafka 6.流式计算标签开发-Spark Streaming 7.Streaming上线工程化 8.Spark人群计算功能开发 9.打通数据服务层 |
| 第7章 作业流程调度 |
1.crontab命令调度 2.Airflow介绍 3.Airflow安装 4.Airflow主要功能模块 5.Airflow工作流调度 6.画像工程化调度方案 7.标签数据监控预警 8.ETL异常问题排查 |
