15天搞定ELK海量日志分析平台_大讲台

高端IT人才在线实训平台

当前位置:首页  /  课程  /  15天搞定ELK海量日志分析平台

15天搞定ELK海量日志分析平台

15天搞定ELK海量日志分析平台

分享到:

涵盖ELK大型日志分析平台的完整流程,包括Logstash采集接入不同渠道的日志(Apache日志,Nginx 日志,系统日志等等),ElasticSearch对各种渠道的日志建立索引、存储实现高级查询,Kibana实现数据分析和数据可视化。

  • 原价  ¥1299

  • 特惠价  ¥399

时长    15天          

全款购买 当前学习人数 472 收藏

有效期:365天
有效期自支付成功后开始计算。

课程特色

1、基于企业真实商用项目需求进行讲解,快速提升项目经验,解决公司海量日志实时查询、快速分析等棘手问题。

2、涵盖ELK大型日志分析平台的完整流程,包括Logstash采集接入不同渠道的日志(Apache日志,Nginx 日志,系统日志等等),ElasticSearch对各种渠道的日志建立索引、存储实现高级查询,Kibana实现数据分析和数据可视化等。

3、特别注重实际项目开发过程中遇到的典型问题分析以及解决方案与优化,窥视大型成熟互联网公司日志分析平台如何架构、优化与维护,提升项目视野与高度。

项目涉及技术

Java,Logstash,ElasticSearch,Kibana,Hbase

Logstash:监控、过滤、收集各种类型和渠道日志

Elasticsearch:存储海量日志并提供实时搜索功能

Kibana:提供Web管理界面,功能强大、操作方便,支持查询、统计、图表展现、监控、预警和权限管理。

适用人群

1、想了解和学习大型日志分析平台的学员;

2、0编程基础想做海量日志收集、分析处理、查询展示的学员;

3、想转行或者从事海量数据实时查询的学员;

4、想提升大数据相关技能和积累项目经验的学员;

课程目标

1、熟悉 ELK 整个数据处理流程,包括数据采集、数据处理、数据可视化

2、熟练掌握Logstash 采集和处理不同渠道、不同类型的海量日志

3、熟练掌握ElasticSearch建立索引、高级查询以及ElasticSearch集群的维护与优化

4、掌握使用Kibana实现数据分析、数据可视化以及预警

5、能独立搭建ELK海量日志分析平台,实现对公司海量日志的分析、查询以及可视化

讲师介绍

  • 烨 华

    大数据小组Team Leader,大讲台特聘高级讲师

    某大型智慧商务运营商大数据小组Team Leader,兼具大数据实战经验和大数据线上/下授课经验。曾任职中软国际,担任大数据高级工程师,擅长Hadoop、Storm、Spark、Redis、Flume、Kafka、ElasticSearch、Docker、ELK、爬虫等大数据相关技术,主持负责过国外舆情监控项目,实时数据处理、海量数据极速检索。

开课时间

视频课,随买随学

学习方式

在线学习 + QQ群答疑

提供完整视频和学习资料,可在线反复观看,有效期1年


课程大纲

一、ElasticSearch 环境准备及核心技术讲解
1、ElasticSearch 概念及架构原理
2、ElasticSearch 分布式集群安装部署
3、ElasticSearch 核心插件,比如security安全插件、Watcher报警插件、Marvel 管理和查询插件
4、ElasticSearch 核心概念,比如cluster集群,shards分片,replicas副本等
5、ElasticSearch API操作,常见的建立索引功能和复杂查询功能(包括精确查询、字段置顶查询、高亮显示、过滤、排序、聚合Aggregate等)
6、ElasticSearch 集成中文分词器IK,支持中文查询与索引
7、从源码层面分析ElasticSearch中的Routing路由功能
8、ElasticSearch 企业级优化
9、实战:ElasticSearch 实现极速查询
二、Logstash 环境准备及核心组件讲解
1、Logstash 核心配置语法以及Filebeat组件的灵活使用
2、Logstash安装部署及使用技巧
3、Logstash Input插件采集file、eventlog、jdbc、kafka、redis、s3等数据源
4、Logstash 核心Filter插件,比如grok、geoip、json等
5、Logstash Output插件将采集数据灵活输出到不同系统,比如elasticsearch、file、kafka、redis等
6、实战:Logstash 实现海量日志采集、过滤、解析、输出
三、Kibana 环境准备及核心功能讲解
1、Kibana 概述
2、Kibana 安装部署及使用技巧
3、Kibana 实现数据查询
4、Kibana 实现数据可视化
5、Kibana 监控预警
6、实战:Kibana 将采集到的海量数据进行数据分析、数据查询,并构建图表可视化
四、ELK平台架构及项目实战
1、结合企业真实项目需求,分析ELK架构的应用场景和价值
2、剖析大型公司分布式日志系统架构,比如新浪微博,freewheel,畅捷通等
3、动手构建ELK 海量日志分析平台
4、利用Logstash实时采集不同项目系统的海量异常堆栈信息(可以实现跨行收集每条异常堆栈信息),对海量数据进行过滤和解析,同时可以自定义匹配模式解析项目中的复杂结构日志,并按日志类别和日期回滚输出到ElasticSearch集群建立索引
5、利用ElasticSearch 实现对海量数据的实时查询
6、利用Kibana 实现海量日志的分析查询、数据可视化及监控预警
7、ELK 项目优化以及大数据项目经验分享
五、大数据面试真题现场剖析
ElasticSearch+HBase架构解决方案(可以实现类似百度搜索功能)【xx集团面试题】剖析
1、针对企业中的一个典型需求展开分析【针对一批海量数据,既要实现全量存储,又要实现快速复杂查询】
2、着重分析和讲解如何自定义ElasticSearch中的mapping信息
3、ElasticSearch+HBase组合使用,实现百度全文检索功能

常见问题

Q:会有实际上机演示和动手操作吗?

A:本课程为项目拆解课,全程实操演练!不仅仅是简单演示,而是手把手带你操练真实项目。

Q:在线直播课程怎么答疑?

A: 每个班级会建立专门的班级QQ群,学员可以针对课程中的问题,或者自己学习与动手实践中的问题,向老师提问,老师会进行相应解答。同时,强烈推荐大家到官网技术问答区提问,方便知识的沉淀,同时也避免因为QQ群信息刷屏而导致你的问题被老师错过。

你可能还喜欢的课程

  • 技术大牛组团授课,专讲大数据核心知识和大型项目实战,多台物理服务器数十个节点现场直播演示!企业级实战项目让你四个月掌握2年的项目经验!

    查看详情 立即试学

    大数据就业特训营

    立即试学 16周

  • 重在培养数据分析方法及思路,而不仅仅是学习技术及工具。带教多个互联网及金融领域企业真实项目,而不仅仅是讲理论和小案例。新东方、搜狗、腾讯等名企一线实战讲师授课,技“高”一筹!

    查看详情 立即试学

    数据分析就业特训营

    立即试学 16周

  • 本课程上半部分会从Tensorflow的安装开始,讲解Tensorflow中的各种技术细节。让大家快速上手编写神经网络。也会补充一些深度学习相关的理论知识,如交叉熵,Softmax函数,各种优化器的算法和应用等内容。 下半部分会讲解几个深度学习的项目,如图像识别,验证码识别,word2vec,语音分类等。

    查看详情 立即试学

    深度学习框架-TensorFlow从入门到精通

    ¥199 14天

他们在学

  • 麦克

  • 壮壮爸爸

  • 唯爱的单

  • 鹏21499

  • nauy

  • 半梦半醒

  • PLY

  • 21293

  • 21254

  • 20475

  • 181****4085

  • Rodrum

  • Heidelberg

  • 我心永恒

  • 比特洛克

  • 1633110124

意见
反馈