大数据实战派 都爱大讲台

当前位置:首页  /  课程  /  基于大数据体系构建数据仓库

基于大数据体系构建数据仓库

基于大数据体系构建数据仓库

分享到:

干货多:15案例 + 3实战 + 2项目;
提升快:滴滴出行一线架构师传授实战经验,30小时多方位讲解数据仓库构建相关理论及实战内容
技术全:综合运用Hive/Flume/Kafka/Azkaban/Oozie/SparkSQL等技术;

  • ¥399   ¥599 

  • VIP免费

时长    32小时52分钟           开班时间   完整直播回放视频 + 答疑群

全款购买 当前学习人数 978 收藏

有效期:36500天
有效期自支付成功后开始计算。

---- 200人拼团已爆满.... 599插班学习 ----


课程介绍点这里免费试听

本课程系统的、全面的、深入的讲解了,基于大数据体系如何构建数据仓库。课程先对数据仓库基础理论和大数据技术平台进行讲解,然后讲解数据采集与同步,然后讲解数据质量的把控,接着讲解数据仓库如何建模,最后通过一系列的实战项目真实、系统、全面的掌握如何构建企业级数据仓库。(课程直播穿插讲解大纲内容,排名不分先后)


课程特色

1、课程基于大数据体系进行数据仓库构建

2、课程全面、系统的讲解如何构建数据仓库体系,而非简单使用Hive工具

3、课程通过大量的项目案例和项目实战,帮助大家快速积累数据仓库经验



(项目总体架构图)


课程目标

1、加深对基于大数据生态的数据仓库建设的认知,掌握数仓维度建模理论

2、会使用大数据生态的工具进行数据的采集、清洗等ETL工作

3、学会使用合理的方法管控数仓数据质量和熟悉元数据管理

4、学会互联网用户行为数据的埋点和应用

5、能够应用建模技术、大数据技术构建数据仓库


适用人群

1、对大数据相关组件有了解的学员;

2、有mysql等数据库基础的学员;

3、对数据仓库感兴趣想转行的学员;

4、想提升或者积累数据仓库经验的学员;


就业岗位

1、数据仓库工程师

2、数据仓库架构师

3、ETL工程师

4、数仓建模工程师


涉及技术

MapReduce、HDFS、Hive、Sqoop、Flume、Kafka、Azkaban、Oozie、Airflow、SparkSQL、MySQL、Datax


常见问题

Q:会有实际上机演示和动手操作吗?

A:本课程涉及大量的案例和实战项目,实操贯穿整个课程。

Q:在线直播课程怎么答疑?

A: 每个班级会建立专门的班级QQ群,学员可以针对课程中的问题,或者自己学习与动手实践中的问题,向老师提问,老师会进行相应解答。同时,强烈推荐大家到官网技术问答区提问,方便知识的沉淀,同时也避免因为QQ群信息刷屏而导致你的问题被老师错过。

讲师介绍

  • 张海港

    大讲台大数据特聘讲师

    某金融公司大数据团队Leader、数据仓库架构师,曾供职于滴滴出行大数据&机器学习研究院,8年大数据&数据仓库领域一线研发经验,在数据仓库、BI、大数据架构方面有丰富的经验,熟练基于hadoop、spark、hive、flume等大数据生态构建大规模PB级数据仓库平台,致力于大数据价值的业务应用。

免费视频这么多,为什么还要来大讲台?

智能化

学习任务智能推送

混合式

“图文+视频”混合式课件

答疑快

30分钟问答响应

实战多

3分理论7分实战

包学会

账号长期有效学会为止

课程大纲

第一章:数仓基础理论
1.1.开篇 1.1.1.什么是数据仓库
1.1.2.数据仓库的发展史
1.1.3.基于大数据数仓构建特点
1.1.4.数据仓库的应用范围与前景
1.2.数仓建模方法论 1.2.1.实体关系(ER)建模理论及应用场景
案例1
1.2.2.维度建模理论及应用场景
案例2
1.2.3.DataVault建模理论及应用场景
案例3
1.2.4.Anchor建模理论及应用场景
1.3.大数据领域对实时数据场景的应用 1.3.1.实战1:数仓实时场景应用
第二章:大数据技术平台
2.1.基于大数据的数据仓库技术架构
2.2.Hadoop离线计算框架 2.2.1.Hadoop架构介绍
2.2.2.MapReduce编程模型、运行原理
2.2.3.HDFS架构、原理
2.3.Spark内存计算框架 2.3.1.Spark架构介绍
2.3.2.Spark编程模型、运行原理
2.4.Hive数据仓库 2.4.1.Hive架构
2.4.2.Hive与MapReduce、Spark sql
2.4.3.Hive Sql常用操作
2.4.4.Hive 企业级优化
案例1
案例2
案例3
2.5.其它大数据仓库技术体系 2.5.1.数据采集:Sqoop、Datax、Flume
2.5.2.数据通道:Kafka
2.5.3.调度:Oozie
案例1
实战2:互联网金融网贷业务架构设计
第三章:数据采集与数据同步
3.1.数据埋点对于大数据的应用价值与行业应用场景
3.2.多屏场景下的用户体系识别
3.3.数据埋点 3.3.1.大数据场景下埋点的范围与边界
3.3.2.行为数据埋点
浏览器日志埋点
无线终端埋点:h5\native\Hybrid
3.3.3.业务数据埋点范围
3.4.数据的同步与传输 3.4.1.基于数据库的数据同步
3.4.2.基于日志的数据同步
实战3:基于某电商app、h5、pc等多屏的行为、业务数据埋点设计与采集方案(具体方法+技术架构)
第四章:数据质量
4.1.互联网行业与传统行业数据质量的差异
4.2.元数据管理
4.3.数据质量在数据流转过程中的控制、检验方法
4.4.业务快速迭代过程中的数据适配、监控
案例1:企业级数据仓库平台元数据管理
案例2:企业级数据仓库平台中数据质量控制方案
第五章:数据仓库维度建模(进阶)
5.1.维度设计 5.1.1.维度设计基础
5.1.2.维度的整合与拆分
案例1
5.1.3.维度的变化:缓慢变化维等
案例2
5.2.事实表设计 5.2.1.事实表设计基础
5.2.2.增量事实表
案例1
5.2.3.快照事实表
案例2
5.2.4.累计事实表
案例3
5.2.5拉链事实表
案例4
5.3.数据集市的主题设计
第六章:项目实战
项目1:基于大数据的数仓对互联网信贷项目的应用
项目2:企业级大数据仓库开发规范
第七章:大数据应用扩展及经验分享
大数据应用扩展及经验分享

学员们说~~


你可能还喜欢的课程

  • 【千元钜惠】 年薪200w+的大数据架构师全程直播,传授硬核技能:①OLAP/HTAP/湖仓一体等多种架构;②借FlinkCDC/Kylin/Hudi/Doris等打造数仓;③湖仓一体化项目落地实践;④基于Flink和StreamX打造低代码大数据中台

    查看详情 QQ咨询

    大数据实战精英+架构师班

    查看详情 4个月

  • 【千元钜惠】 手握6000+节点的大数据运维大咖全程直播,4个月带你熟悉大数据集群规划、部署、监控、排错、容器化等技能,并完成3个商业项目。

    查看详情 QQ咨询

    大数据运维尖刀班

    查看详情 4个月

  • 【3重优惠】 技术大牛组团授课,专讲大数据核心知识和大型项目实战,多台物理服务器数十个节点现场直播演示!企业级实战项目让你四个月掌握2年的项目经验!

    查看详情 QQ咨询

    大数据开发工程师特训营

    查看详情 16周

  • 【优惠活动】 新东方、搜狗、腾讯等名企一线实战讲师授课,技“高”一筹!重在培养数据分析方法及思路,而不仅仅是学习技术及工具。带教多个互联网及金融领域企业真实项目,而不仅仅是讲理论和小案例。

    查看详情 QQ咨询

    数据分析特训营

    查看详情 16周

  • 本课程为大数据金融信贷项目实战课,着重讲解企业中常用的大数据技术理论与实战,如Hadoop、Hive、HBase、Sqoop、Flume、Kafka、Spark Streaming、Spark SQL、Spark Structured Streaming等。课程包含离线项目和实时项目,从项目业务需求、技术选型、架构设计、集群安装部署、集成开发以及项目可视化进行多方位实战讲解。

    查看详情 QQ咨询

    互联网金融信贷项目实战(Hadoop&Spark)

    查看详情 38小时44分钟

  • 本课程基于某电商公司运营实时分析系统(2B),对Flink进行系统讲解。通过本课程的学习,既能获得Flink企业级真实项目经验,也能深入掌握Flink的核心理论知识,还能获得Flink在生产环境中安装、部署、监控的宝贵经验,从而深入掌握Flink技术。

    查看详情 QQ咨询

    Flink电商运营项目实战

    查看详情 50小时6分钟

他们在学

  • 琉璃苣25938

  • 微信用户27865

  • 27856

  • 136****0096

  • 130****0369

  • 135****5098

  • 138****1925

  • 176****4397

  • 27804

  • 185****7871

  • 微信用户27803

  • 自由雨

  • 152****6859

  • 27712

  • 191****5982

  • pxj

 
QQ在线咨询
微信扫码咨询