大数据实战派 都爱大讲台

当前位置:首页  /  课程  /  【高阶】亿级用户行为分析项目实战(Spark)

【高阶】亿级用户行为分析项目实战(Spark)

【高阶】亿级用户行为分析项目实战(Spark)

分享到:

1个好项目不亚于1年工作经验!这是国内某顶级运营商线上运行的大数据项目,生产环境150+节点,学会后可以非常自信的写到简历上。课程内容涉及项目业务介绍、技术选型与架构设计、项目的架构演进、手机端到服务端数据流程、日志采集设计与要求、日志采集拓扑结构、线上和本地集群资源规划、项目全流程开发、项目总结,还有大数据项目面试可能被问到的21个问题。

  • ¥626   ¥1880 

  • VIP免费

时长    14小时16分钟          

免费试学 全款购买 当前学习人数 755 收藏


课程导图

这是国内某顶级运营商线上运行的大数据项目,生产环境150+节点,学会后可以非常自信的写到简历上。



课程收获

1.获得近20小时Spark实战项目课程
2.获得1个大项目4个子项目完整源码
3.获得1-3年Spark项目开发经验



课程特色

1.课程可有偿直播讲解
2.课程老师可收徒一对一辅导



适用人群

1.有java基础的学员
2.有大数据基础的学员
3.有spark基础的学员



技术说明

1. 开发语言:Java、Scala

2. 开发工具:IDEA

3. 主要技术:Hadoop2.6、Zookeeper-3.4.6、Flume1.8、HBase1.2.6、Kafka_2.11-1.0.0、Spark-2.3.0-bin-hadoop2.6


课程资料详细完整

录播视频课程,免费提供PPT资料、Word文档、随堂笔记、项目代码、Shell脚本、集群配置文件、安装包、手画相关项目架构图


讲师介绍

  • 杨俊

    大讲台大数据高级讲师 | 原某广电数据咨询公司大数据高级架构师

    原某广电数据咨询公司大数据高级架构师 资深Java玩家,大数据技术狂热者。曾在北京某广电数据咨询公司担任大数据高级架构师,7年以上大数据实操经验, 经历过10个以上的重量级大数据项目。Hadoop源码级技术大咖,熟练使用Hadoop、Spark、Flink、Hive、HBase、Flume、Kafka、ElasticSearch等各大主流组件。谦虚亲和,崇尚实操至上的教学理念。受到学员一致好评。

课程大纲

第一章:项目需求分析与架构设计
项目需求分析与架构设计 1.项目业务介绍
2.技术选型与架构设计
3.项目架构的过去与现在
4.手机客户端到服务端通信过程与服务质量监控
第二章:大数据采集集群设计与要求
大数据采集集群设计与要求 5.数据采集设计与要求
6.日志采集拓扑结构-数据高峰处理
第三章:大数据测试集群与线上集群资源规划
大数据测试集群与线上集群资源规划 7.大数据测试集群与线上集群资源规划
第四章:华为手机客户端数据上报服务端【实战】
华为手机客户端数据上报服务端 8.手机客户端数据上报应用开发
9.手机客户端上报数据到服务端-本地测试
10.手机客户端上报数据到服务端-服务端测试1
10.手机客户端上报数据到服务端-服务端测试2
11.手机客户端上报敏感数据真实流程
第五章:Flume高可用集群采集华为手机业务数据【实战】
Flume高可用集群采集华为手机业务数据 12.Flume最简数据采集
13.Flume TailDirSource断点续传
14.Flume TailDirSource源码解读
15.Flume TailDirSource源码bug修改
16.Flume TailDirSource 文件回滚验证源码bug修改
17.Flume高可用分布式集群构建
18.Flume集群接入手机客户端上报数据
第六章:Kafka分布式集群实现华为手机数据交换【实战】
Kafka分布式集群实现华为手机数据交换 19.Kafka集群可用性测试
20.Flume与Kafka整合
21.Kafka数据分区优化理论支撑
22.Kafka分区优化源码开发
23.Flume与Kafka分区优化测试
第七章:HBase分布式数据库建模【实战】
HBase分布式数据库建模 24.HBase数据库建模
第八章:Spark Streaming实时项目工程开发【实战】
Spark Streaming实时项目工程开发 25.相关集群参数集中管理
26.生产环境中优雅停止Spark Streaming作业
27.从HBase获取Kafka offset消费起始位置
28.Spark Streaming消费kafka数据
29.获取当前DStream每个批次的offset
30.对数据做ETL
31.华为手机业务统计分析
32.业务数据入库HBase
33.使用HBase维护kafka offset
34.项目中kryo序列化使用
35.Kafka分区限流
36.HBase计数器应对高并发流
第九章:项目工程本地测试与线上部署【实战】
Spark Streaming实时项目工程开发 37.手机应用业务建表
38.项目本地测试jar包冲突解决
39.项目本地测试跑通
40.项目打包上传至服务器
41.Spark ON YARN安装部署
42.YARN生产环境调度器配置与使用
43.项目运行脚本开发及下线、线上配置切换
44.Spark华为手机作业提交YARN运行
45.Spark Streaming结合业务进行代码执行详解
第十章:web用户行为可视化项目接口开发【实战】
web用户行为可视化项目接口开发 46.web用户行为可视化项目整体介绍
47.用户行为接口开发与查询
48.用户行为接口开发总结
49.Spark华为手机项目总结
50.Spark开发工程师面试21问

你可能还喜欢的课程

  • 【千元钜惠】 资深大数据架构大佬全程直播,传授硬核技能:①OLAP/HTAP/湖仓一体等多种架构;②借FlinkCDC/Kylin/Hudi/Doris等打造数仓;③湖仓一体化项目落地实践;④基于Flink和StreamX打造低代码大数据中台

    查看详情 QQ咨询

    大数据实战精英+架构师班

    查看详情 4个月

  • 【千元钜惠】 手握6000+节点的大数据运维大咖全程直播,4个月带你熟悉大数据集群规划、部署、监控、排错、容器化等技能,并完成3个商业项目。

    查看详情 QQ咨询

    大数据运维尖刀班

    查看详情 4个月

  • 【3重优惠】 技术大牛组团授课,专讲大数据核心知识和大型项目实战,多台物理服务器数十个节点现场直播演示!企业级实战项目让你四个月掌握2年的项目经验!

    查看详情 QQ咨询

    大数据开发工程师特训营

    查看详情 16周

  • 【优惠活动】 新东方、搜狗、腾讯等名企一线实战讲师授课,技“高”一筹!重在培养数据分析方法及思路,而不仅仅是学习技术及工具。带教多个互联网及金融领域企业真实项目,而不仅仅是讲理论和小案例。

    查看详情 QQ咨询

    数据分析特训营

    查看详情 16周

  • 本课程为大数据金融信贷项目实战课,着重讲解企业中常用的大数据技术理论与实战,如Hadoop、Hive、HBase、Sqoop、Flume、Kafka、Spark Streaming、Spark SQL、Spark Structured Streaming等。课程包含离线项目和实时项目,从项目业务需求、技术选型、架构设计、集群安装部署、集成开发以及项目可视化进行多方位实战讲解。

    查看详情 QQ咨询

    互联网金融信贷项目实战(Hadoop&Spark)

    查看详情 38小时44分钟

  • 干货多:15案例 + 3实战 + 2项目;
    提升快:滴滴出行一线架构师传授实战经验,30小时多方位讲解数据仓库构建相关理论及实战内容
    技术全:综合运用Hive/Flume/Kafka/Azkaban/Oozie/SparkSQL等技术;

    查看详情 QQ咨询

    基于大数据体系构建数据仓库

    查看详情 32小时52分钟

  • 本课程基于某电商公司运营实时分析系统(2B),对Flink进行系统讲解。通过本课程的学习,既能获得Flink企业级真实项目经验,也能深入掌握Flink的核心理论知识,还能获得Flink在生产环境中安装、部署、监控的宝贵经验,从而深入掌握Flink技术。

    查看详情 QQ咨询

    Flink电商运营项目实战

    查看详情 50小时6分钟

他们在学

  • 微信用户28054

  • 136****0096

  • 回归~兰兴星

  • 班诺

  • 27792

  • 135****5098

  • 152****1028

  • 175****5888

  • 27880

  • 微信用户27865

  • 158****0909

  • 27712

  • 186****7063

  • 188****4832

  • 152****6859

  • 191****5982

 
QQ在线咨询
微信扫码咨询