课程名称

《基于大数据体系构建数据仓库》

为什么你应该学这课？

课程目标

1、加深对基于大数据生态的数据仓库建设的认知，掌握数仓维度建模理论

2、会使用大数据生态的工具进行数据的采集、清洗等ETL工作

3、学会使用合理的方法管控数仓数据质量和熟悉元数据管理

4、学会互联网用户行为数据的埋点和应用

5、能够应用建模技术、大数据技术构建数据仓库

适用人群

1、对大数据相关组件有了解的学员；

2、有mysql等数据库基础的学员；

3、对数据仓库感兴趣想转行的学员；

4、想提升或者积累数据仓库经验的学员；

就业岗位

1、数据仓库工程师

2、数据仓库架构师

3、ETL工程师

4、数仓建模工程师

涉及技术

MapReduce、HDFS、Hive、Sqoop、Flume、Kafka、Azkaban、Oozie、Airflow、SparkSQL、MySQL、Datax

主讲老师

张海港 大讲台签约讲师 | （前）滴滴出行数据仓库“老鸟”

某金融公司大数据团队Leader、数据仓库架构师，曾供职于滴滴出行大数据&机器学习研究院，6年大数据&数据仓库领域一线研发经验，在数据仓库、BI、大数据架构方面有丰富的经验，熟练基于hadoop、spark、hive、flume等大数据生态构建大规模PB级数据仓库平台，致力于大数据价值的业务应用。

课程安排

2018年4月28日（周六）开课；

全程在线直播，共30小时左右；

周六下午14:00~17:00 周六晚上19:00~22:00，5周时间；

直播后提供回放视频，可在线反复观看，有效期1年；

有QQ答疑讨论群，资料完整

课程大纲

第一章：数仓基础理论
1.1.开篇
1.1.1.什么是数据仓库
1.1.2.数据仓库的发展史
1.1.3.基于大数据数仓构建特点
1.1.4.数据仓库的应用范围与前景
1.2.数仓建模方法论
1.2.1.实体关系(ER)建模理论及应用场景
案例1
1.2.2.维度建模理论及应用场景
案例2
1.2.3.DataVault建模理论及应用场景
案例3
1.2.4.Anchor建模理论及应用场景
1.3.大数据领域对实时数据场景的应用
1.3.1.实战1：某互联网出行行业数据仓库模型设计

第二章：大数据技术平台
2.1.基于大数据的数据仓库技术架构
2.2.Hadoop离线计算框架
2.2.1.Hadoop架构介绍
2.2.2.MapReduce编程模型、运行原理
2.2.3.HDFS架构、原理
2.3.Spark内存计算框架
2.3.1.Spark架构介绍
2.3.2.Spark编程模型、运行原理
2.4.Hive数据仓库
2.4.1.Hive架构
2.4.2.Hive与MapReduce、Spark sql
2.4.3.Hive Sql常用操作
2.4.4.Hive 企业级优化
案例4
案例5
案例6
2.5.其它大数据仓库技术体系
2.5.1.数据采集：Sqoop、Datax、Flume
2.5.2.数据通道：Kafka
2.5.3.调度：Azkaban、Oozie、Airflow
案例7：某大型互联网公司数据总线架构分享
实战2：某知名互联网电商行业基于大数据的数据仓库架构设计

第三章：数据采集与数据同步
3.1.数据埋点对于大数据的应用价值与行业应用场景
3.2.多屏场景下的用户体系识别
3.3.数据埋点
3.3.1.大数据场景下埋点的范围与边界
3.3.2.行为数据埋点
浏览器日志埋点
无线终端埋点：h5\native\Hybrid
3.3.3.业务数据埋点范围
3.4.数据的同步与传输
3.4.1.基于数据库的数据同步
3.4.2.基于日志的数据同步
实战3：基于某电商app、h5、pc等多屏的行为、业务数据埋点设计与采集方案(具体方法+技术架构)

第四章：数据质量
4.1.互联网行业与传统行业数据质量的差异
4.2.元数据管理
4.3.数据质量在数据流转过程中的控制、检验方法
4.4.业务快速迭代过程中的数据适配、监控
案例8：企业级数据仓库平台元数据管理
案例9：企业级数据仓库平台中数据质量控制方案

第五章：数据仓库维度建模(进阶)
5.1.维度设计
5.1.1.维度设计基础
5.1.2.维度的整合与拆分
案例10
5.1.3.维度的变化：缓慢变化维等
案例11
5.2.事实表设计
5.2.1.事实表设计基础
5.2.2.增量事实表
案例12
5.2.3.快照事实表
案例13
5.2.4.累计事实表
案例14
5.2.5拉链事实表
案例15
5.3.数据集市的主题设计

第六章：项目实战
项目1：互联网流量型行业的数据仓库
项目2：偏业务型行业数据仓库
项目3：基于大数据的数仓对数据化运营的应用

第七章：大数据应用扩展及经验分享

常见问题

Q：会有实际上机演示和动手操作吗？

A：本课程涉及大量的案例和实战项目，实操贯穿整个课程。

Q：在线直播课程怎么答疑？

A： 每个班级会建立专门的班级QQ群，学员可以针对课程中的问题，或者自己学习与动手实践中的问题，向老师提问，老师会进行相应解答。同时，强烈推荐大家到官网技术问答区提问，方便知识的沉淀，同时也避免因为QQ群信息刷屏而导致你的问题被老师错过。

参团须知

1、参团后请添加客服微信（微信号：84985152）

2、成团后收到微信通知，补款

3、访问大讲台官网dajiangtai.com

4、用拼团时留言的手机号注册学习账号（已有账户无须注册）

5、等待客服人员为你的账号开通课程

6、客服邀请进入QQ学习群