高端IT人才在线实训平台

当前位置:首页  /  课程  /  【高阶项目】亿级用户行为之大数据实时分析

【高阶项目】亿级用户行为之大数据实时分析

【高阶项目】亿级用户行为之大数据实时分析

分享到:

1个好项目不亚于1年工作经验!这是国内某顶级运营商线上运行的大数据项目,生产环境150+节点,学会后可以非常自信的写到简历上。课程内容涉及项目业务介绍、技术选型与架构设计、项目的架构演进、手机端到服务端数据流程、日志采集设计与要求、日志采集拓扑结构、线上和本地集群资源规划、项目全流程开发、项目总结,还有大数据项目面试可能被问到的21个问题。

  • 原价  ¥1880

  • 特惠价  ¥626

时长    近20小时          

免费试学 全款购买 当前学习人数 162 收藏


课程导图

这是国内某顶级运营商线上运行的大数据项目,生产环境150+节点,学会后可以非常自信的写到简历上。



课程收获

1.获得近20小时Spark实战项目课程
2.获得1个大项目4个子项目完整源码
3.获得1-3年Spark项目开发经验



课程特色

1.课程可有偿直播讲解
2.课程老师可收徒一对一辅导



适用人群

1.有java基础的学员
2.有大数据基础的学员
3.有spark基础的学员



技术说明

1. 开发语言:Java、Scala

2. 开发工具:IDEA

3. 主要技术:Hadoop2.6、Zookeeper-3.4.6、Flume1.8、HBase1.2.6、Kafka_2.11-1.0.0、Spark-2.3.0-bin-hadoop2.6


课程资料详细完整

录播视频课程,免费提供PPT资料、Word文档、随堂笔记、项目代码、Shell脚本、集群配置文件、安装包、手画相关项目架构图


讲师介绍

  • 杨俊

    大讲台大数据高级讲师 | 原某广电数据咨询公司大数据高级架构师

    原某广电数据咨询公司大数据高级架构师 资深Java玩家,大数据技术狂热者。曾在北京某广电数据咨询公司担任大数据高级架构师,7年以上大数据实操经验, 经历过10个以上的重量级大数据项目。Hadoop源码级技术大咖,熟练使用Hadoop、Spark、Flink、Hive、HBase、Flume、Kafka、ElasticSearch等各大主流组件。谦虚亲和,崇尚实操至上的教学理念。受到学员一致好评。

课程大纲

第一章:项目需求分析与架构设计
项目需求分析与架构设计 1.项目业务介绍
2.技术选型与架构设计
3.项目架构的过去与现在
4.手机客户端到服务端通信过程与服务质量监控
第二章:大数据采集集群设计与要求
大数据采集集群设计与要求 5.数据采集设计与要求
6.日志采集拓扑结构-数据高峰处理
第三章:大数据测试集群与线上集群资源规划
大数据测试集群与线上集群资源规划 7.大数据测试集群与线上集群资源规划
第四章:华为手机客户端数据上报服务端【实战】
华为手机客户端数据上报服务端 8.手机客户端数据上报应用开发
9.手机客户端上报数据到服务端-本地测试
10.手机客户端上报数据到服务端-服务端测试1
10.手机客户端上报数据到服务端-服务端测试2
11.手机客户端上报敏感数据真实流程
第五章:Flume高可用集群采集华为手机业务数据【实战】
Flume高可用集群采集华为手机业务数据 12.Flume最简数据采集
13.Flume TailDirSource断点续传
14.Flume TailDirSource源码解读
15.Flume TailDirSource源码bug修改
16.Flume TailDirSource 文件回滚验证源码bug修改
17.Flume高可用分布式集群构建
18.Flume集群接入手机客户端上报数据
第六章:Kafka分布式集群实现华为手机数据交换【实战】
Kafka分布式集群实现华为手机数据交换 19.Kafka集群可用性测试
20.Flume与Kafka整合
21.Kafka数据分区优化理论支撑
22.Kafka分区优化源码开发
23.Flume与Kafka分区优化测试
第七章:HBase分布式数据库建模【实战】
HBase分布式数据库建模 24.HBase数据库建模
第八章:Spark Streaming实时项目工程开发【实战】
Spark Streaming实时项目工程开发 25.相关集群参数集中管理
26.生产环境中优雅停止Spark Streaming作业
27.从HBase获取Kafka offset消费起始位置
28.Spark Streaming消费kafka数据
29.获取当前DStream每个批次的offset
30.对数据做ETL
31.华为手机业务统计分析
32.业务数据入库HBase
33.使用HBase维护kafka offset
34.项目中kryo序列化使用
35.Kafka分区限流
36.HBase计数器应对高并发流
第九章:项目工程本地测试与线上部署【实战】
Spark Streaming实时项目工程开发 37.手机应用业务建表
38.项目本地测试jar包冲突解决
39.项目本地测试跑通
40.项目打包上传至服务器
41.Spark ON YARN安装部署
42.YARN生产环境调度器配置与使用
43.项目运行脚本开发及下线、线上配置切换
44.Spark华为手机作业提交YARN运行
45.Spark Streaming结合业务进行代码执行详解
第十章:web用户行为可视化项目接口开发【实战】
web用户行为可视化项目接口开发 46.web用户行为可视化项目整体介绍
47.用户行为接口开发与查询
48.用户行为接口开发总结
49.Spark华为手机项目总结
50.Spark开发工程师面试21问

你可能还喜欢的课程

  • 【三重优惠】技术大牛组团授课,专讲大数据核心知识和大型项目实战,多台物理服务器数十个节点现场直播演示!企业级实战项目让你四个月掌握2年的项目经验!

    查看详情 QQ咨询

    大数据特训营

    查看详情 16周

  • 【刚开班~申请插班】 手握6000+节点的大数据运维大咖全程直播,4个月带你熟悉大数据集群规划、部署、监控、排错、容器化等技能,并完成3个商业项目。

    查看详情 QQ咨询

    大数据运维尖刀班

    查看详情 4个月

  • 【申请插班~】年薪200w+的大数据架构师全程直播,4个月时间带你玩转大数据技术栈热门组件,并完成数据中台构建和3个项目:1)智慧社区实时数仓,2)两个数据中台应用项目。

    查看详情 QQ咨询

    大数据实战精英+架构师班

    查看详情 4个月

  • 新东方、搜狗、腾讯等名企一线实战讲师授课,技“高”一筹!重在培养数据分析方法及思路,而不仅仅是学习技术及工具。带教多个互联网及金融领域企业真实项目,而不仅仅是讲理论和小案例。

    查看详情 QQ咨询

    数据分析特训营

    查看详情 16周

  • 干货多:15案例 + 3实战 + 2项目;
    提升快:滴滴出行一线架构师传授实战经验,30小时多方位讲解数据仓库构建相关理论及实战内容
    技术全:综合运用Hive/Flume/Kafka/Azkaban/Oozie/SparkSQL等技术;

    查看详情 QQ咨询

    基于大数据体系构建数据仓库

    查看详情 35小时

  • 本课程基于某电商公司运营实时分析系统(2B),对Flink进行系统讲解。通过本课程的学习,既能获得Flink企业级真实项目经验,也能深入掌握Flink的核心理论知识,还能获得Flink在生产环境中安装、部署、监控的宝贵经验,从而深入掌握Flink技术。

    查看详情 QQ咨询

    【精品课】Flink大数据项目实战

    查看详情 37.9小时

他们在学

  • 半缘君

  • 150****5958

  • 158****0693

  • 坚_Zhouls_持

  • 灰麻

  • 1520781903

  • 25596

  • 永不言弃

  • 157****7077

  • 139****4026

  • 188****8912

  • …随風而過…

  • 186****8797

  • 159****3521

  • 不再调皮、只因太过顽皮

  • 洪荒或有仙

 
QQ在线咨询
微信扫码咨询