小讲@大讲台2018/06/06         
100人拼团圆满完成!目前直播结束,有完整回放和班级群,可插班学习!微信扫码快速插班学习
4. 插班后微信联系 小讲@大讲台 (微信: 84985152),邀请入群,与老师同学交流讨论
~~~~~~~~~~ 这是一个完美的分隔线,下面是课程介绍 ~~~~~~~~~~
课程特色
1、基于企业真实商用项目需求进行讲解,快速提升项目经验,解决公司海量日志实时查询、快速分析等棘手问题。
2、涵盖ELK大型日志分析平台的完整流程,包括Logstash采集接入不同渠道的日志(Apache日志,Nginx 日志,系统日志等等),ElasticSearch对各种渠道的日志建立索引、存储实现高级查询,Kibana实现数据分析和数据可视化等。
3、特别注重实际项目开发过程中遇到的典型问题分析以及解决方案与优化,窥视大型成熟互联网公司日志分析平台如何架构、优化与维护,提升项目视野与高度。
项目涉及技术
Java,Logstash,ElasticSearch,Kibana,Hbase
Logstash:监控、过滤、收集各种类型和渠道日志
Elasticsearch:存储海量日志并提供实时搜索功能
Kibana:提供Web管理界面,功能强大、操作方便,支持查询、统计、图表展现、监控、预警和权限管理。
项目截图
适用人群
1、想了解和学习大型日志分析平台的学员;
2、0编程基础想做海量日志收集、分析处理、查询展示的学员;
3、想转行或者从事海量数据实时查询的学员;
4、想提升大数据相关技能和积累项目经验的学员;
课程目标
1、熟悉 ELK 整个数据处理流程,包括数据采集、数据处理、数据可视化
2、熟练掌握Logstash 采集和处理不同渠道、不同类型的海量日志
3、熟练掌握ElasticSearch建立索引、高级查询以及ElasticSearch集群的维护与优化
4、掌握使用Kibana实现数据分析、数据可视化以及预警
5、能独立搭建ELK海量日志分析平台,实现对公司海量日志的分析、查询以及可视化
主讲老师
烨 华 大数据小组Team Leader,大讲台特聘高级讲师
某大型智慧商务运营商大数据小组Team Leader,兼具大数据实战经验和大数据线上/下授课经验。曾任职中软国际,担任大数据高级工程师,擅长Hadoop、Storm、Redis、Flume、Kafka、ElasticSearch、Storm、Docker、ELK、爬虫等大数据相关技术,主持负责过国外舆情监控项目,实时数据处理、海量数据极速检索。
开课时间
2017年1月7日(周六),共6次,每次2小时
学习方式
在线直播,共6次,12课时;
每周2次,周六、周日晚上20:00-22:00;
直播后提供回放视频,可在线反复观看,有效期1年
课程大纲
一、ElasticSearch 环境准备及核心技术讲解
1、ElasticSearch 概念及架构原理
2、ElasticSearch 分布式集群安装部署
3、ElasticSearch 核心插件,比如security安全插件、Watcher报警插件、Marvel 管理和查询插件
4、ElasticSearch 核心概念,比如cluster集群,shards分片,replicas副本等
5、ElasticSearch API操作,常见的建立索引功能和复杂查询功能(包括精确查询、字段置顶查询、高亮显示、过滤、排序、聚合Aggregate等)
6、ElasticSearch 集成中文分词器IK,支持中文查询与索引
7、从源码层面分析ElasticSearch中的Routing路由功能
8、ElasticSearch 企业级优化
9、实战:ElasticSearch 实现极速查询
二、Logstash 环境准备及核心组件讲解
1、Logstash 核心配置语法以及Filebeat组件的灵活使用
2、Logstash安装部署及使用技巧
3、Logstash Input插件采集file、eventlog、jdbc、kafka、redis、s3等数据源
4、Logstash 核心Filter插件,比如grok、geoip、json等
5、Logstash Output插件将采集数据灵活输出到不同系统,比如elasticsearch、file、kafka、redis等
6、实战:Logstash 实现海量日志采集、过滤、解析、输出
三、Kibana 环境准备及核心功能讲解
1、Kibana 概述
2、Kibana 安装部署及使用技巧
3、Kibana 实现数据查询
4、Kibana 实现数据可视化
5、Kibana 监控预警
6、实战:Kibana 将采集到的海量数据进行数据分析、数据查询,并构建图表可视化
四、ELK平台架构及项目实战
1、结合企业真实项目需求,分析ELK架构的应用场景和价值
2、剖析大型公司分布式日志系统架构,比如新浪微博,freewheel,畅捷通等
3、动手构建ELK 海量日志分析平台
4、利用Logstash实时采集不同项目系统的海量异常堆栈信息(可以实现跨行收集每条异常堆栈信息),对海量数据进行过滤和解析,同时可以自定义匹配模式解析项目中的复杂结构日志,并按日志类别和日期回滚输出到ElasticSearch集群建立索引
5、利用ElasticSearch 实现对海量数据的实时查询
6、利用Kibana 实现海量日志的分析查询、数据可视化及监控预警
7、ELK 项目优化以及大数据项目经验分享
五、大数据面试真题现场剖析
ElasticSearch+HBase架构解决方案(可以实现类似百度搜索功能)【xx集团面试题】剖析
1、针对企业中的一个典型需求展开分析【针对一批海量数据,既要实现全量存储,又要实现快速复杂查询】
2、着重分析和讲解如何自定义ElasticSearch中的mapping信息
3、ElasticSearch+HBase组合使用,实现百度全文检索功能
常见问题
Q:会有实际上机演示和动手操作吗?
A:本课程为项目拆解课,全程实操演练!不仅仅是简单演示,而是手把手带你操练真实项目。
Q:在线直播课程怎么答疑?
A: 每个班级会建立专门的班级QQ群,学员可以针对课程中的问题,或者自己学习与动手实践中的问题,向老师提问,老师会进行相应解答。同时,强烈推荐大家到官网技术问答区提问,方便知识的沉淀,同时也避免因为QQ群信息刷屏而导致你的问题被老师错过。
联系方式
参团后,请务必加客服微信/QQ: 84985152,邀请进入QQ学习交流群
hlwzjc 2018/11/19
回复
421486096 2017/01/01
回复
小讲@大讲台 2016/12/26
回复
189****8167 2016/12/26
回复