高端IT人才在线实训平台

当前位置:首页  /  课程  /  基于大数据体系构建数据仓库

基于大数据体系构建数据仓库

基于大数据体系构建数据仓库

分享到:

干货多:15案例 + 3实战 + 3项目;
提升快:滴滴出行一线架构师传授实战经验,30小时多方位讲解数据仓库构建相关理论及实战内容
技术全:综合运用Hive/Flume/Kafka/Azkaban/Oozie/SparkSQL等技术;

  • 原价  ¥999

  • 特惠价  ¥499

时长    35小时          

全款购买 当前学习人数 192 收藏

有效期:365天
有效期自支付成功后开始计算。

---- 100人拼团已爆满.... 499插班学习 ----


课程介绍

本课程系统的、全面的、深入的讲解了,基于大数据体系如何构建数据仓库。课程先对数据仓库基础理论和大数据技术平台进行讲解,然后讲解数据采集与同步,然后讲解数据质量的把控,接着讲解数据仓库如何建模,最后通过一系列的实战项目真实、系统、全面的掌握如何构建企业级数据仓库。


课程特色

1、课程基于大数据体系进行数据仓库构建

2、课程全面、系统的讲解如何构建数据仓库体系,而非简单使用Hive工具

3、课程通过大量的项目案例和项目实战,帮助大家快速积累数据仓库经验



(项目总体架构图)


课程目标

1、加深对基于大数据生态的数据仓库建设的认知,掌握数仓维度建模理论

2、会使用大数据生态的工具进行数据的采集、清洗等ETL工作

3、学会使用合理的方法管控数仓数据质量和熟悉元数据管理

4、学会互联网用户行为数据的埋点和应用

5、能够应用建模技术、大数据技术构建数据仓库


适用人群

1、对大数据相关组件有了解的学员;

2、有mysql等数据库基础的学员;

3、对数据仓库感兴趣想转行的学员;

4、想提升或者积累数据仓库经验的学员;


就业岗位

1、数据仓库工程师

2、数据仓库架构师

3、ETL工程师

4、数仓建模工程师


涉及技术

MapReduce、HDFS、Hive、Sqoop、Flume、Kafka、Azkaban、Oozie、Airflow、SparkSQL、MySQL、Datax


常见问题

Q:会有实际上机演示和动手操作吗?

A:本课程涉及大量的案例和实战项目,实操贯穿整个课程。

Q:在线直播课程怎么答疑?

A: 每个班级会建立专门的班级QQ群,学员可以针对课程中的问题,或者自己学习与动手实践中的问题,向老师提问,老师会进行相应解答。同时,强烈推荐大家到官网技术问答区提问,方便知识的沉淀,同时也避免因为QQ群信息刷屏而导致你的问题被老师错过。

讲师介绍

  • 张海港

    大讲台大数据特聘讲师

    某金融公司大数据团队Leader、数据仓库架构师,曾供职于滴滴出行大数据&机器学习研究院,6年大数据&数据仓库领域一线研发经验,在数据仓库、BI、大数据架构方面有丰富的经验,熟练基于hadoop、spark、hive、flume等大数据生态构建大规模PB级数据仓库平台,致力于大数据价值的业务应用。

免费视频这么多,为什么还要来大讲台?

智能化

学习任务智能推送

混合式

“图文+视频”混合式课件

答疑快

30分钟问答响应

实战多

3分理论7分实战

包学会

账号长期有效学会为止

课程大纲

第一章:数仓基础理论
1.1.开篇 1.1.1.什么是数据仓库
1.1.2.数据仓库的发展史
1.1.3.基于大数据数仓构建特点
1.1.4.数据仓库的应用范围与前景
1.2.数仓建模方法论 1.2.1.实体关系(ER)建模理论及应用场景
案例1
1.2.2.维度建模理论及应用场景
案例2
1.2.3.DataVault建模理论及应用场景
案例3
1.2.4.Anchor建模理论及应用场景
1.3.大数据领域对实时数据场景的应用 1.3.1.实战1:某互联网出行行业数据仓库模型设计
第二章:大数据技术平台
2.1.基于大数据的数据仓库技术架构
2.2.Hadoop离线计算框架 2.2.1.Hadoop架构介绍
2.2.2.MapReduce编程模型、运行原理
2.2.3.HDFS架构、原理
2.3.Spark内存计算框架 2.3.1.Spark架构介绍
2.3.2.Spark编程模型、运行原理
2.4.Hive数据仓库 2.4.1.Hive架构
2.4.2.Hive与MapReduce、Spark sql
2.4.3.Hive Sql常用操作
2.4.4.Hive 企业级优化
案例4
案例5
案例6
2.5.其它大数据仓库技术体系 2.5.1.数据采集:Sqoop、Datax、Flume
2.5.2.数据通道:Kafka
2.5.3.调度:Azkaban、Oozie、Airflow
案例7:某大型互联网公司数据总线架构分享
实战2:某知名互联网电商行业基于大数据的数据仓库架构设计
第三章:数据采集与数据同步
3.1.数据埋点对于大数据的应用价值与行业应用场景
3.2.多屏场景下的用户体系识别
3.3.数据埋点 3.3.1.大数据场景下埋点的范围与边界
3.3.2.行为数据埋点
浏览器日志埋点
无线终端埋点:h5\native\Hybrid
3.3.3.业务数据埋点范围
3.4.数据的同步与传输 3.4.1.基于数据库的数据同步
3.4.2.基于日志的数据同步
实战3:基于某电商app、h5、pc等多屏的行为、业务数据埋点设计与采集方案(具体方法+技术架构)
第四章:数据质量
4.1.互联网行业与传统行业数据质量的差异
4.2.元数据管理
4.3.数据质量在数据流转过程中的控制、检验方法
4.4.业务快速迭代过程中的数据适配、监控
案例8:企业级数据仓库平台元数据管理
案例9:企业级数据仓库平台中数据质量控制方案
第五章:数据仓库维度建模(进阶)
5.1.维度设计 5.1.1.维度设计基础
5.1.2.维度的整合与拆分
案例10
5.1.3.维度的变化:缓慢变化维等
案例11
5.2.事实表设计 5.2.1.事实表设计基础
5.2.2.增量事实表
案例12
5.2.3.快照事实表
案例13
5.2.4.累计事实表
案例14
5.2.5拉链事实表
案例15
5.3.数据集市的主题设计
第六章:项目实战
项目1:互联网流量型行业的数据仓库
项目2:偏业务型行业数据仓库
项目3:基于大数据的数仓对数据化运营的应用
第七章:大数据应用扩展及经验分享
大数据应用扩展及经验分享

学员们说~~


你可能还喜欢的课程

  • 技术大牛组团授课,专讲大数据核心知识和大型项目实战,多台物理服务器数十个节点现场直播演示!企业级实战项目让你四个月掌握2年的项目经验!

    查看详情 立即试学

    大数据就业特训营

    立即试学 16周

  • 重在培养数据分析方法及思路,而不仅仅是学习技术及工具。带教多个互联网及金融领域企业真实项目,而不仅仅是讲理论和小案例。新东方、搜狗、腾讯等名企一线实战讲师授课,技“高”一筹!

    查看详情 立即试学

    数据分析就业特训营

    立即试学 16周

  • 本课程上半部分会从Tensorflow的安装开始,讲解Tensorflow中的各种技术细节。让大家快速上手编写神经网络。也会补充一些深度学习相关的理论知识,如交叉熵,Softmax函数,各种优化器的算法和应用等内容。 下半部分会讲解几个深度学习的项目,如图像识别,验证码识别,word2vec,语音分类等。

    查看详情 立即试学

    深度学习框架-TensorFlow从入门到精通

    ¥199 14天

他们在学

  • GXG

  • 21496

  • 扬帆

  • 拼命三郎

  • 冯雪然

  • 等待繁华能开满天际°

  • 860893330

  • 北京-WJ

  • sanly

  • Jane

  • 1281986049

  • 20810

  • 186****8006

  • 20784

  • 危城

  • 谷谷

意见
反馈