课程介绍
本课程为Flink大数据项目实战教程,以Flink项目实现为主线,重点讲解Flink项目相关的核心技术,包含Flink流式计算、InfluxDB时序数据库和Grafana数据可视化等。本课程理论与实战相结合,最终全流程实现对YARN集群资源的画像。学完本课程,零基础的学员能快速上手Flink进行项目开发,有大数据基础的学员也能快速掌握Flink核心技术并积累Flink实际项目经验。
课程特色
1.课程紧抓Flink核心技术,以项目实战为导向,快速掌握Flink实时计算框架。
2.课程从原理、依赖引入、代码开发、文件配置、项目启动与测试等进行完整流程讲解,不会跳讲和断讲。
3.课程中无论案例代码开发还是项目业务代码开发,每一行代码都会边实现边讲解。
4.课程中目前使用Flink1.13.5最新稳定版本。
适用人群
1.零基础想快速掌握Flink实时处理技术的学员
2.转行想快速掌握Flink实时处理技术的学员
3.有大数据基础,但想快速积累Flink项目经验的学员
技术版本
1.Flink1.13.5
2.InfluxDB
3.Grafana
4.Hadoop
5.Kafka
项目架构图
项目效果图
讲师介绍
-
杨俊
大讲台大数据高级讲师 | 原某广电数据咨询公司大数据高级架构师
原某广电数据咨询公司大数据高级架构师 资深Java玩家,大数据技术狂热者。曾在北京某广电数据咨询公司担任大数据高级架构师,7年以上大数据实操经验, 经历过10个以上的重量级大数据项目。Hadoop源码级技术大咖,熟练使用Hadoop、Spark、Flink、Hive、HBase、Flume、Kafka、ElasticSearch等各大主流组件。谦虚亲和,崇尚实操至上的教学理念。受到学员一致好评。
免费视频这么多,为什么还要来大讲台?
智能化
学习任务智能推送
混合式
“图文+视频”混合式课件
答疑快
30分钟问答响应
实战多
3分理论7分实战
包学会
账号长期有效学会为止
课程大纲
第一章:Flink快速入门 |
Flink架构 Flink应用场景 Flink VS Spark 实时计算技术选型 |
第二章:Flink项目构建与测试 |
快速构建Flink项目 第一个Flink应用案例 Flink 单节点集群安装与测试 Flink Shell代码测试 |
第三章:Flink ON YARN集群部署 |
Flink ON YARN集群架构讲解 Flink ON YARN集群部署 Flink ON YARN提交作业方式1 Flink ON YARN提交作业方式2 |
第四章:Flink实时计算 |
Flink DataStream运行模型 Flink 惰性求值 Flink DataSource Flink Transfamation Flink DataSink 项目案例:Flink与Kafka集成开发 |
第五章:Flink并行度详解 |
TaskManager与Slot Fink 并行度概述 Flink并行度设置的四种方式 |
第一章:InfluxDB架构原理 |
InfluxDB概述 InfluxDB数据模型 InfluxDB时间线 InfluxDB系统架构 |
第二章:InfluxDB安装部署与基本操作 |
InfluxDB安装部署 InfluxDB数据库增删改查 InfluxDB数据保留策略增删改查 InfluxDB表增删改查 InfluxDB用户增删改查 InfluxDB 用户授权 InfluxDB开启登录认证 |
第三章:InfluxDB Java客户端操作 |
InfluxDB 构建Maven项目 Java连接InfluxDB测试 InfluxDB单条数据插入 InfluxDB批量写入Points InfluxDB数据查询 InfluxDB数据删除 |
Grafana可视化监控与分析工具 |
Grafana概述 为什么要用Grafana Grafana安装部署 实时产生时序数据 Grafana添加InfluxDB数据源 Grafana数据大屏制作 |
第一章:需求分析与架构设计 |
项目背景 产生的问题 项目的阻力 整体解决方案 架构设计与技术选型 |
第二章:项目集群环境准备 |
项目集群规划 YARN集群环境准备 InfluxDB环境准备 Grafana环境准备 |
第三章:项目业务实现 |
采集YARN集群总体指标实现方案分析 采集YARN集群调度指标实现方案分析 Flink自定义Source代码实现 Flink自定义Sink代码实现 Flink集群配置管理 Flink工具类实现 InfluxDB相关代码实现 |
第四章:项目测试运行 |
Flink项目测试代码调试 Flink项目开发代码调试 Flink生产代码调试与优化 |
第五章:项目打包运行 |
Flink核心模块项目配置 Flink打包模块项目配置 Flink项目打包部署 Flink项目测试运行 |
第六章:项目可视化分析 |
Grafana与InfluxDB集成开发 Grafana制作YARN集群资源画像大屏 |