课程导图
这是国内某顶级运营商线上运行的大数据项目，生产环境150+节点，学会后可以非常自信的写到简历上。
课程收获
1.获得近20小时Spark实战项目课程
2.获得1个大项目4个子项目完整源码
3.获得1-3年Spark项目开发经验
课程特色
1.课程可有偿直播讲解
2.课程老师可收徒一对一辅导
适用人群
1.有java基础的学员
2.有大数据基础的学员
3.有spark基础的学员
技术说明
1. 开发语言：Java、Scala
2. 开发工具：IDEA
3. 主要技术：Hadoop2.6、Zookeeper-3.4.6、Flume1.8、HBase1.2.6、Kafka_2.11-1.0.0、Spark-2.3.0-bin-hadoop2.6
课程资料详细完整
录播视频课程，免费提供PPT资料、Word文档、随堂笔记、项目代码、Shell脚本、集群配置文件、安装包、手画相关项目架构图
讲师介绍
-
杨俊
大讲台大数据高级讲师 | 原某广电数据咨询公司大数据高级架构师
原某广电数据咨询公司大数据高级架构师 资深Java玩家，大数据技术狂热者。曾在北京某广电数据咨询公司担任大数据高级架构师，7年以上大数据实操经验， 经历过10个以上的重量级大数据项目。Hadoop源码级技术大咖，熟练使用Hadoop、Spark、Flink、Hive、HBase、Flume、Kafka、ElasticSearch等各大主流组件。谦虚亲和，崇尚实操至上的教学理念。受到学员一致好评。
课程大纲
| 华为手机客户端数据上报服务端 |
8.手机客户端数据上报应用开发 9.手机客户端上报数据到服务端-本地测试 10.手机客户端上报数据到服务端-服务端测试1 10.手机客户端上报数据到服务端-服务端测试2 11.手机客户端上报敏感数据真实流程 |
| Flume高可用集群采集华为手机业务数据 |
12.Flume最简数据采集 13.Flume TailDirSource断点续传 14.Flume TailDirSource源码解读 15.Flume TailDirSource源码bug修改 16.Flume TailDirSource 文件回滚验证源码bug修改 17.Flume高可用分布式集群构建 18.Flume集群接入手机客户端上报数据 |
| Kafka分布式集群实现华为手机数据交换 |
19.Kafka集群可用性测试 20.Flume与Kafka整合 21.Kafka数据分区优化理论支撑 22.Kafka分区优化源码开发 23.Flume与Kafka分区优化测试 |
| Spark Streaming实时项目工程开发 |
25.相关集群参数集中管理 26.生产环境中优雅停止Spark Streaming作业 27.从HBase获取Kafka offset消费起始位置 28.Spark Streaming消费kafka数据 29.获取当前DStream每个批次的offset 30.对数据做ETL 31.华为手机业务统计分析 32.业务数据入库HBase 33.使用HBase维护kafka offset 34.项目中kryo序列化使用 35.Kafka分区限流 36.HBase计数器应对高并发流 |
| Spark Streaming实时项目工程开发 |
37.手机应用业务建表 38.项目本地测试jar包冲突解决 39.项目本地测试跑通 40.项目打包上传至服务器 41.Spark ON YARN安装部署 42.YARN生产环境调度器配置与使用 43.项目运行脚本开发及下线、线上配置切换 44.Spark华为手机作业提交YARN运行 45.Spark Streaming结合业务进行代码执行详解 |
