大数据实战派 都爱大讲台

当前位置:首页  /  课程  /  数据采集与处理(Flume)

数据采集与处理(Flume)

数据采集与处理(Flume)

分享到:

Flume是Cloudera提供的一个高可用的、高可靠的、分布式的海量日志采集、聚合和传输的系统,Flume支持在日志系统中定制各类数据发送方,用于收集数据。同时,Flume提供对数据进行简单处理,并写到各种数据接受方(可定制)的能力。

  • ¥79   ¥168 

  • VIP免费

时长    8小时47分钟          

全款购买 当前学习人数 838 收藏


课程介绍

Flume是Cloudera提供的一个高可用的、高可靠的、分布式的海量日志采集、聚合和传输的系统,Flume支持在日志系统中定制各类数据发送方,用于收集数据。同时,Flume提供对数据进行简单处理,并写到各种数据接受方(可定制)的能力。


讲师介绍

  • 杨俊

    大讲台大数据高级讲师 | 原某广电数据咨询公司大数据高级架构师

    原某广电数据咨询公司大数据高级架构师 资深Java玩家,大数据技术狂热者。曾在北京某广电数据咨询公司担任大数据高级架构师,7年以上大数据实操经验, 经历过10个以上的重量级大数据项目。Hadoop源码级技术大咖,熟练使用Hadoop、Spark、Flink、Hive、HBase、Flume、Kafka、ElasticSearch等各大主流组件。谦虚亲和,崇尚实操至上的教学理念。受到学员一致好评。

免费视频这么多,为什么还要来大讲台?

智能化

学习任务智能推送

混合式

“图文+视频”混合式课件

答疑快

30分钟问答响应

实战多

3分理论7分实战

包学会

账号长期有效学会为止

课程大纲

第1章:快速上手Flume
快速上手Flume 1flume基础知识
2flume安装测试
第2章:Flume常用Source、Channel与Sink
Flume常用Source、Channel与Sink 3flume source-avrosource
4flume source-thriftsource
5flume source-netcat tcp source
6flume source-http source
7flume source-exec source
8flume source-spooling directory source
9flume source-taildir source
10flume channel
11flume sink-hdfssink
12flume sink-avro sink
13flume sink-kafkasink
第3章:Flume拦截器实操
Flume拦截器实操 14flume拦截器介绍
15flume拦截器使用-timestamp
16flume拦截器使用-host
17flume拦截器使用-static
18flume拦截器使用-removeheader
19flume拦截器使用-UUID
20flume拦截器使用-searchandreplace
21flume拦截器使用-regexfilter
22flume拦截器使用-regexextractor
第4章:Flume不同应用场景案例实操
Flume不同应用场景案例实操 23flume应用场景-多个agent之间通信
24flume应用场景-聚合flow
25flume应用场景-复制channel选择器
26flume应用场景-多路复用channel选择器
27flume应用场景-实现负载均衡
28flume应用场景-高可用故障切换
第5章:Flume数据可靠性与高可用集群构建
Flume数据可靠性与高可用集群构建 29flume 核心知识讲解
30flume与其他采集工具的比较
31flume 高可用集群构建
第6章:Flume项目实战(一)
Flume项目实战(一) 32flume实操-源码二次开发部署方式
33flume实操-自定义拦截器提取文件1
34flume实操-自定义拦截器提取文件-配置文件编写
35flume实操自定义拦截器提交文件-代码修改1
36flume实操-自定义拦截器提取文件-代码2
37flume实操-自定义拦截器提取文件-打包部署1
38flume实操自定义拦截器提取文件-bug调试
第7章:Flume项目实战(二)
Flume项目实战(二) 39flume实操-自定义拦截器对数据源打标记-思路讲解
40flume实操-自定义拦截器对数据源打标记-源码开发
41flume实操-自定义拦截器对数据源打标签-打包部署
42flume实操-自定义拦截器数据源打标签-bug调试
第8章:Flume项目实战(三)
Flume项目实战(三) 43flume实操-flume整合hbase-源码修改思路分析
44flume实操-flume整合hbase-源码修改准备工作
45flume实操-flume整合hbase-源码修改
46flume实操-flume整合hbase-打包部署
第9章:Flume项目实战(四)
Flume项目实战(四) 47flume实操-taildir source bug修复前测试
48flume实操-taildir source源码导入
49flume实操-taildir source 源码bug修复
50flume实操-taildir source源码打包部署
51flume实操-taildir source源码进一步分析
第10章:Flume脚本开发与集群监控
Flume脚本开发与集群监控 52flume实操-flume shell脚本开发流程
53flume实操-flume指标监控与进程监控

你可能还喜欢的课程

  • 【抢1600元优惠】 手握6000+节点的大数据运维大咖全程直播,4个月带你熟悉大数据集群规划、部署、监控、排错、容器化等技能,并完成3个商业项目。

    查看详情 QQ咨询

    大数据运维尖刀班

    查看详情 4个月

  • 【抢千元优惠】 年薪200w+的大数据架构师领衔直播,深度讲解五大硬核技能:①千亿级大数据平台架构及实践,打造开源版“阿里DataWorks”;②打造企业级大数据实时计算系统与可视化大屏;③数仓架构及云音乐数仓综合项目;④数据湖及项目应用;⑤Flink推荐算法及推荐系统实现

    查看详情 QQ咨询

    大数据实战精英+架构师班

    查看详情 4个月

  • 【3重优惠】技术大牛组团授课,专讲大数据核心知识和大型项目实战,多台物理服务器数十个节点现场直播演示!企业级实战项目让你四个月掌握2年的项目经验!

    查看详情 QQ咨询

    大数据开发工程师特训营

    查看详情 16周

  • 【百万补贴】新东方、搜狗、腾讯等名企一线实战讲师授课,技“高”一筹!重在培养数据分析方法及思路,而不仅仅是学习技术及工具。带教多个互联网及金融领域企业真实项目,而不仅仅是讲理论和小案例。

    查看详情 QQ咨询

    数据分析特训营

    查看详情 16周

  • 本课程为大数据金融信贷项目实战课,着重讲解企业中常用的大数据技术理论与实战,如Hadoop、Hive、HBase、Sqoop、Flume、Kafka、Spark Streaming、Spark SQL、Spark Structured Streaming等。课程包含离线项目和实时项目,从项目业务需求、技术选型、架构设计、集群安装部署、集成开发以及项目可视化进行多方位实战讲解。

    查看详情 QQ咨询

    互联网金融信贷项目实战(Hadoop&Spark)

    查看详情 38小时44分钟

  • 干货多:15案例 + 3实战 + 2项目;
    提升快:滴滴出行一线架构师传授实战经验,30小时多方位讲解数据仓库构建相关理论及实战内容
    技术全:综合运用Hive/Flume/Kafka/Azkaban/Oozie/SparkSQL等技术;

    查看详情 QQ咨询

    基于大数据体系构建数据仓库

    查看详情 32小时52分钟

  • 本课程基于某电商公司运营实时分析系统(2B),对Flink进行系统讲解。通过本课程的学习,既能获得Flink企业级真实项目经验,也能深入掌握Flink的核心理论知识,还能获得Flink在生产环境中安装、部署、监控的宝贵经验,从而深入掌握Flink技术。

    查看详情 QQ咨询

    【精品课】Flink大数据项目实战

    查看详情 50小时6分钟

他们在学

  • 卢星

  • HPDEV

  • sunchao19870210

  • kk26765

  • 大眼睛老虎

  • Beast

  • 26543

  • 沙滩☆落日

  • 26654

  • 陈继雄

  • 冯雪然

  • 冷月无声


 
QQ在线咨询
微信扫码咨询