高端IT人才在线实训平台

当前位置:首页  /  课程  /  【精品课】Flink大数据项目实战

【精品课】Flink大数据项目实战

【精品课】Flink大数据项目实战

分享到:

本课程基于某电商公司运营实时分析系统(2B),对Flink进行全面系统的讲解。通过本课程的学习,既能获得Flink企业级真实项目经验,也能深入掌握Flink的核心理论知识,还能获得Flink在生产环境中安装、部署、监控的宝贵经验,从而一站式全面、深入掌握Flink技术。

  • 原价  ¥699

  • 特惠价  ¥349

时长    40小时左右(已更新30+)          

全款购买 当前学习人数 110 收藏


课程介绍点这里免费试听

本课程基于某电商公司运营实时分析系统(2B),对Flink进行全方位、无死角系统讲解。通过本课程的学习,既能获得Flink企业级真实项目经验,也能深入掌握Flink的核心理论知识,还能获得Flink在生产环境中安装、部署、监控的宝贵经验,从而一站式全面、深入掌握Flink技术。



适用人群

1. 对大数据感兴趣的学员
2. 对实时计算感兴趣的学员
3. 想提升Flink项目经验的学员
4. 想系统学习Flink技术的学员



课程特色

1. 3分理论、7分实战
2. 紧贴项目,发散性、扯淡的地方往往比较重要
3. 弱化ppt,强调实战操作+笔记整理
4. 注重课程的趣味性,与实际项目相结合



技术说明

1. Flink版本:较新稳定版本flink1.6.2

2. 开发语言和工具:Java、IDEA

3. 数据量级:实时生成项目数据



课程资料

1. 免费提供课程ppt
2. 免费提供课程文档
3. 免费提供课程安装包
4. 免费提供课程工程源码



课程形式

1. 视频,精心录制,总时长40小时左右(持续更新)

2. 答疑,专属QQ答疑群,猪八戒数据总监亲自参与答疑

讲师介绍

  • 李飞(Felix)

    大讲台大数据特聘讲师 |   猪八戒数据总监

    10年一线开发及项目管理经验,6年以上大数据项目架构、实施、开发与运维经验,骨灰级大数据玩家,对Hadoop、Storm、Spark、Flink、Kylin、Druid等大数据技术有较深研究。搭建、维护过上百节点集群,处理过PB级数据。 因技术出色,多次在知名企业内部进行大数据技能培训,对一线企业大数据方面的技能需求非常了解。 热爱分享,喜欢结合切身经历的大型项目经验来授课,用血淋淋的一线案例、真刀真枪的现场演示、实时的回馈指导赢得了很多学员的仰慕和好评。

课程大纲

第一章:Flink核心概念与实验环境部署
Flink概述 1、阐述Flink的前世今生
2、Flink生态
3、Flink Use Cases
4、与Hadoop、Spark、Storm等横向对比
5、Flink当前的发展状况以及未来趋势
Flink初探 1.Flink 批处理案例实现
2.Flink 流处理案例实现
Flink核心概念与编程模型(一) 1、Flink架构
2、Stateful Stream Processing
3、DataStream与DataSet
4、Table & SQL
5、Flink程序基本结构
6、Flink DataFlow
Flink核心概念与编程模型(二) 1、window
2、Time
3、State
4、checkpoint与savepoint
Flink Runtime(一) 1、Flink 运行时架构
2、TaskManger Slot
3、Job Managers, Task Managers, Clients
4、CoLocationGroup
5、SlotSharingGroup
6、Slots && parallelism
7、OperatorChain && Task
Flink Runtime(二) 1、Flink 部署方式介绍
2、Local
3、Standalone实验环境部署
4、Flink On Yarn简述(后续专门章节细讲)
5、Flink job启动方式
6、Job 的启动过程
7、Graph
8、Flink HA
第二章:Flink DataStream API及项目实战
Flink开发环境搭建 1、Flink Java开发环境搭建
2、Flink Scala开发环境搭建
3、依赖管理
4、Flink源代码编译
Flink编程基础 1、DataSet与DataStream
2、Flink编程基本套路
3、Lazy Evaluation
4、Specifying Keys
5、Specifying Transformation Functions
6、Supported Data Types
7、Accumulators & Counters
8、Java Lambda Expressions
DataStreaming API 概述 1、再次剖析Streaming示例程序
2、Graph
3、DataStreamContext环境
4、数据源(DataSource)
5、转化(Transformation)
6、数据输出(Sink)
7、迭代Iterations
8、执行参数
9、调试
状态与容错 1、Flink带状态编程
2、checkpoint与savepoint得细节
3、broadcast
4、State Backends
Connectors概述 1、Connector的概念(Source&Sink)
2、内置Connector
3、第三方Connector
4、自定义Connector
Connectors之Kafka Flink与Kafka集成开发实战
Operators概述 Operator基本算子介绍
Operators之Windows操作 1、理解Window
2、理解Time与Watermarks
3. Window机制内部实现源码分析
4. 生产环境中window使用容易遇到的问题
Operators之Join操作 1、Window Join
2、Interval Join
Operators之Process Function 介绍Low-level算子
Operators之异步IO 异步IO方式访问外部数据源
Side Outputs 简单阐述Side Outputs
Python API 简单阐述一下Python API
Flink Streaming测试 1、Flink Streaming程序单元测试
2、Flink Streaming程序集成测试
Flink项目实战 实时日志分析(上)
实时日志分析(中)
实时日志分析(下)
第三章:Flink DataSet API及实战
DataSet API 概述 1、再次剖析DataSet示例程序
2、数据源(DataSource)
3、转化(Transformation)
4、数据输出(Sink)
5、迭代操作
6、函数中操作数据对象
7、调试
8、Semantic Annotations
9、广播变量
10、分布式缓存
11、参数传递
DataSet Transformation 1、全面介绍各种常见Transformation(1)
2、全面介绍各种常见Transformation(2)
批处理中的容错机制 讲述Flink批处理如何容错
迭代 重点讲述增量迭代
Connectors 1、内置Connectors
2、HDFS Connector
兼容Hadoop 讲述如何跟Hadoop兼容,直接使用Hadoop的MR接口
DataSetUtils 单独讲一下DataSetUtils工具类
基于Flink的ETL项目实践 1、需求分析
2、方案设计
3、代码实现
4、运行和优化
5、可视化
第四章:Flink扩展学习
数据类型与序列化 讲述Flink独特的数据类型和序列化方式
Execution管理 1、Execution配置
2、打包
3、并行Execution
4、执行计划
5、Resart策略
Flink其他Libraries简介 1、CEP简介
2、Storm集成
3、图计算库Gelly简介
4、机器学习库简介
Flink 最佳实践 讲述Flink使用过程中的一些最佳实践
第五章:Flink生产环境与部署
深入理解Flink On Yarn 1、深入讲解Flink On Yarn
2、Hadoop集成
Flink HA 讲述各种运行模式下的HA
Flink容错机制大盘点 盘点Flink的各种容错机制
Flink配置 盘点Flink的常见配置
Flink CLI 讲述Flink CLI操作
Flink SSL配置 讲述Flink SSL配置
Flink中使用各种分布式文件系统 讲述Flink中使用各种分布式文件系统
Flink应用及版本升级 讲述如何升级Flink应用和自身的版本
第六章:Flink Metrics与监控
Flink metrics理解与使用 理解metric并讲解其含义
Flink日志处理与History Server 讲解Flink如何处理日志并使用History Server
Flink checkpoint监控 讲解检查点的监控
Flink延迟反压监控 理解反压机制并讲解如何监控
Flink监控的RESTAPI 讲解监控的API
Flink app问题剖析诊断 结合TSDB讲解如何实现Flink app的问题剖析诊断

  这门课好评如潮 ,学员们说~~


你可能还喜欢的课程

  • 技术大牛组团授课,专讲大数据核心知识和大型项目实战,多台物理服务器数十个节点现场直播演示!企业级实战项目让你四个月掌握2年的项目经验!

    查看详情 立即试学

    大数据就业特训营

    立即试学 16周

  • 新东方、搜狗、腾讯等名企一线实战讲师授课,技“高”一筹!重在培养数据分析方法及思路,而不仅仅是学习技术及工具。带教多个互联网及金融领域企业真实项目,而不仅仅是讲理论和小案例。

    查看详情 立即试学

    数据分析就业特训营

    立即试学 16周

  • 从Python基础到Python数据分析案例实战,涵盖了经典的Python爬虫、聚类分析算法,RFM模型等,还有2个实战:1)互联网金融投资平台客户价值分析 2)航空公司客户价值分析。

    查看详情 立即试学

    Python数据分析

    ¥399 30小时

他们在学

  • 23019

  • 小讲@大讲台

  • 23013

  • 危城

  • 沙滩☆落日

  • 591805853

  • 130****2677

  • 偏执

  • 蔚至天晴

  • 广州-好好学习

  • 刚哥

  • 颜回

  • 22946

  • 22936

  • 信鸽

  • 22876

意见
反馈