---- 200人拼团已爆满.... 599插班学习 ----
课程介绍 【点这里免费试听】
本课程系统的、全面的、深入的讲解了,基于大数据体系如何构建数据仓库。课程先对数据仓库基础理论和大数据技术平台进行讲解,然后讲解数据采集与同步,然后讲解数据质量的把控,接着讲解数据仓库如何建模,最后通过一系列的实战项目真实、系统、全面的掌握如何构建企业级数据仓库。(课程直播穿插讲解大纲内容,排名不分先后)
课程特色
1、课程基于大数据体系进行数据仓库构建
2、课程全面、系统的讲解如何构建数据仓库体系,而非简单使用Hive工具
3、课程通过大量的项目案例和项目实战,帮助大家快速积累数据仓库经验
(项目总体架构图)
课程目标
1、加深对基于大数据生态的数据仓库建设的认知,掌握数仓维度建模理论
2、会使用大数据生态的工具进行数据的采集、清洗等ETL工作
3、学会使用合理的方法管控数仓数据质量和熟悉元数据管理
4、学会互联网用户行为数据的埋点和应用
5、能够应用建模技术、大数据技术构建数据仓库
适用人群
1、对大数据相关组件有了解的学员;
2、有mysql等数据库基础的学员;
3、对数据仓库感兴趣想转行的学员;
4、想提升或者积累数据仓库经验的学员;
就业岗位
1、数据仓库工程师
2、数据仓库架构师
3、ETL工程师
4、数仓建模工程师
涉及技术
MapReduce、HDFS、Hive、Sqoop、Flume、Kafka、Azkaban、Oozie、Airflow、SparkSQL、MySQL、Datax
常见问题
Q:会有实际上机演示和动手操作吗?
A:本课程涉及大量的案例和实战项目,实操贯穿整个课程。
Q:在线直播课程怎么答疑?
A: 每个班级会建立专门的班级QQ群,学员可以针对课程中的问题,或者自己学习与动手实践中的问题,向老师提问,老师会进行相应解答。同时,强烈推荐大家到官网技术问答区提问,方便知识的沉淀,同时也避免因为QQ群信息刷屏而导致你的问题被老师错过。
讲师介绍
-
张海港
大讲台大数据特聘讲师
某金融公司大数据团队Leader、数据仓库架构师,曾供职于滴滴出行大数据&机器学习研究院,8年大数据&数据仓库领域一线研发经验,在数据仓库、BI、大数据架构方面有丰富的经验,熟练基于hadoop、spark、hive、flume等大数据生态构建大规模PB级数据仓库平台,致力于大数据价值的业务应用。
免费视频这么多,为什么还要来大讲台?
智能化
学习任务智能推送
混合式
“图文+视频”混合式课件
答疑快
30分钟问答响应
实战多
3分理论7分实战
包学会
账号长期有效学会为止
课程大纲
1.1.开篇 |
1.1.1.什么是数据仓库 1.1.2.数据仓库的发展史 1.1.3.基于大数据数仓构建特点 1.1.4.数据仓库的应用范围与前景 |
1.2.数仓建模方法论 |
1.2.1.实体关系(ER)建模理论及应用场景 案例1 1.2.2.维度建模理论及应用场景 案例2 1.2.3.DataVault建模理论及应用场景 案例3 1.2.4.Anchor建模理论及应用场景 |
1.3.大数据领域对实时数据场景的应用 | 1.3.1.实战1:数仓实时场景应用 |
2.1.基于大数据的数据仓库技术架构 | |
2.2.Hadoop离线计算框架 |
2.2.1.Hadoop架构介绍 2.2.2.MapReduce编程模型、运行原理 2.2.3.HDFS架构、原理 |
2.3.Spark内存计算框架 |
2.3.1.Spark架构介绍 2.3.2.Spark编程模型、运行原理 |
2.4.Hive数据仓库 |
2.4.1.Hive架构 2.4.2.Hive与MapReduce、Spark sql 2.4.3.Hive Sql常用操作 2.4.4.Hive 企业级优化 案例1 案例2 案例3 |
2.5.其它大数据仓库技术体系 |
2.5.1.数据采集:Sqoop、Datax、Flume 2.5.2.数据通道:Kafka 2.5.3.调度:Oozie 案例1 实战2:互联网金融网贷业务架构设计 |
3.1.数据埋点对于大数据的应用价值与行业应用场景 | |
3.2.多屏场景下的用户体系识别 | |
3.3.数据埋点 |
3.3.1.大数据场景下埋点的范围与边界 3.3.2.行为数据埋点 浏览器日志埋点 无线终端埋点:h5\native\Hybrid 3.3.3.业务数据埋点范围 |
3.4.数据的同步与传输 |
3.4.1.基于数据库的数据同步 3.4.2.基于日志的数据同步 实战3:基于某电商app、h5、pc等多屏的行为、业务数据埋点设计与采集方案(具体方法+技术架构) |
4.1.互联网行业与传统行业数据质量的差异 4.2.元数据管理 4.3.数据质量在数据流转过程中的控制、检验方法 4.4.业务快速迭代过程中的数据适配、监控 案例1:企业级数据仓库平台元数据管理 案例2:企业级数据仓库平台中数据质量控制方案 |
5.1.维度设计 |
5.1.1.维度设计基础 5.1.2.维度的整合与拆分 案例1 5.1.3.维度的变化:缓慢变化维等 案例2 |
5.2.事实表设计 |
5.2.1.事实表设计基础 5.2.2.增量事实表 案例1 5.2.3.快照事实表 案例2 5.2.4.累计事实表 案例3 5.2.5拉链事实表 案例4 |
5.3.数据集市的主题设计 |
学员们说~~