双11回馈Hadoop老学员

150课时迷你Spark就业项目课只卖199元

只卖1周，过期恢复原价1299

支持7天退款（P.S. 进度在第四章之前有效）

参团只需支付9元，成团后再补款

【微信扫描二维码，9元参团】

课程名称

基于Spark2.x新闻网大数据实时分析可视化系统

官网课程链接：

http://www.dajiangtai.com/course/68.do 

 

课程特色

1. 以新闻网大数据实时分析及可视化项目为主线，从零开始讲解项目需要的各方面知识，再到项目最终实现，非常详尽实用。
2. 采用最新的Spark2.2版本，网上此类项目属“罕见”。
3. 华为资深架构师讲授 & 答疑，除了项目本身，方案、思路、眼界、大数据认知等方面都能有所收获。
4. 超过150课时，课程内容进行了居多拓展，涉及大数据多方面的技能讲解，堪称迷你型的 spark 就业课程。

 

项目涉及技术

Hadoop2.x、Zookeeper、Flume、Hive、Hbase、Kafka、Spark2.2、SparkStreaming、SparkSQL、StructuredStreaming、MySQL、Hue、J2EE、websoket、Echarts

 

适用人群

1、对大数据有简单了解的学员；

2、会hadoop希望快速学习掌握spark的学员；

3、希望快速积累大数据/spark项目经验的学员；

 

课程简介

本项目基于某新闻网用户日志分析系统进行讲解，使用目前最新的Spark2.2版本，本项目通过超长的150课时逐步讲解，从项目的需求分析到基础环境搭建，然后到核心组件项目核心知识讲解，最后到项目业务实现、可视化以及项目的总结，整个过程无论是集群环境还是业务代码，都会带着大家一步一步操作，从而全方位的、完整的掌握Spark 新闻网大数据实时分析可视化系统。

 

主讲老师

曹金博   大讲台大数据特聘讲师 | 华为大数据高级架构师

华为大数据架构师，曾主导过交通、电信、电商等多行业大数据项目，具有6年以上大数据项目的架构设计与研发。并且一直从事企业级大数据项目的架构设计、大数据技术研究和培训教育工作，具有丰富的大型项目实战经验以及教育培训经验。

 

开课时间

2017年11月18日（周六），共150课时（视频）

大讲台官网开通课程后，7日内不满意可退款（注意：进度最多到第四章，超过不支持退款）

 

学习方式

视频（高清），150课时；

有QQ答疑讨论群，资料完整 

 

课程大纲

 

第一章：案例需求分析与设计

1. 全套课程内容概述 2. 案例需求分析 3. 系统架构设计 4. 系统数据流程设计 5. 集群资源规划设计

 

第二章：linux环境准备与设置

1. Linux系统常规设置 2. 克隆虚拟机并进行相关的配置 3. 对集群中的机器进行基本配置

 

第三章：Hadoop2.X分布式集群部署

1. Hadoop2.X版本下载及安装 2. Hadoop2.X分布式集群配置 3. 分发到其他各个机器节点 4. HDFS启动集群运行测试 5. YARN集群运行MapReduce程序测试 6. 配置集群中主节点到各个机器的SSH无密钥登录

 

第四章：Zookeeper分布式集群部署

1. Zookeeper版本下载及安装 2. 分布式集群配置及参数介绍 3. Zookeeper服务启动及测试

 

第五章：Hadoop2.X HA架构与部署

1. HDFS-HA架构原理介绍 2. HDFS-HA 详细配置 3. HDFS-HA 服务启动及自动故障转移测试 4. YARN-HA架构原理介绍 5. YARN-HA 详细配置 6. YARN-HA 服务启动及自动故障转移测试

 

第六章：HBase分布式集群部署与设计

1. 下载HBase版本并安装 2. 分布式集群的相关配置 3. 启动依赖于Zookeeper和HDFS的两个服务 4. 通过shell测试数据库 5. 日志信息存储需求分析及表的创建

 

第七章：Kafka分布式集群部署

1. 下载Kafka版本并安装 2. Kafka集群配置 3. 启动Kafka依赖于Zookeeper的服务并进行测试

 

第八章：Flume数据采集准备

1. Flume节点服务设计 2. Flume版本下载安装 3. Flume agent-1采集节点服务配置 4. Flume agent-2采集节点服务配置

 

第九章：Flume+HBase+Kafka集成与开发

1. 下载Flume源码并导入Idea开发工具 2. 根据业务需求做采集入库的程序设计 3. 自定义SinkHBase程序开发 4. idea程序打包并部署 5. 官方Flume与HBase集成的参数介绍 6. Flume agent-3聚合节点与HBase集成的配置 7. 官方Flume与Kafka集成的参数介绍 8. Flume agent-3聚合节点与Kafka集成的配置

 

第十章：数据采集/存储/分发完整流程测试

1. idea工具开发数据生成模拟程序 2. 编写启动Flume服务程序的shell脚本 3. 启动Flume采集相关的所有服务 4. 编写脚本并启动Flume agent三台采集节点服务 5. 编写Kafka consumer执行脚本并运行 6. java开发业务数据生成模拟器 7. 运行模拟程序并通过HBase shell检查数据

 

第十一章：MySQL安装

1. 配置linux本地镜像源 2. linux联网安装mysql数据库 3. myql设置用户连接权限 4. 分析业务需求并设计表结构 5. 创建数据库和与业务相关的表

 

第十二章：Hive与HBase集成进行数据分析

1.Hive 概述 2.Hive 架构设计 3.Hive 应用场景 4.Hive 安装部署 5.Hive与MySQL集成 6.Hive 服务启动与测试 7.根据业务创建表结构 8.Hive与HBase集成进行数据离线分析

 

第十三章：Cloudera HUE大数据可视化分析

1.Hue概述 2.Hue安装部署 3.Hue基本配置与服务启动 4.Hue与HDFS集成 5.Hue与YARN集成 6.Hue与Hive集成 7.Hue与MySQL集成 8.Hue与HBase整合 9.对采集的数据进行可视化分析 10.Hue使用的经验总结

 

第十四章：Spark2.X环境准备、编译部署及运行

1.Spark 概述 2.Spark 生态系统介绍 3.Spark2.X学习注意事项 4.Spark2.2源码下载及编译 5.Scala安装及环境变量设置 6.Spark2.2本地模式运行测试 7.Spark服务WEB监控页面

 

第十五章：基于IDEA环境下的Spark2.X程序开发

1.Windows开发环境配置与安装 2.IDEA Maven工程创建与配置 3.开发Spark Application程序并进行本地测试 4.打Jar包并提交spark-submit运行

 

第十六章：Spark2.X集群运行模式

1.Spark几种运行模式介绍 2.Spark Standalone集群模式配置与运行 3.Spark on YARN集群模式配置与运行

 

第十七章：Spark2.X分布式弹性数据集

1.三大弹性分布式数据集介绍 2.Spark RDD概述与创建方式 3.Spark RDD五大特性 4.Spark RDD操作方式及使用 5.DataFrame创建方式及功能使用 6.DataSet创建方式及功能 7.数据集之前的对比与转换

 

第十八章：Spark SQL快速离线数据分析

1.Spark SQL概述及特点 2.Spark SQL服务架构 3.Spark SQL与Hive集成（spark-shell） 4.Spark SQL与Hive集成（spark-sql） 5.Spark SQL之ThirftServer和beeline使用 6.Spark SQL与MySQL集成 7.Spark SQL与HBase集成

 

第十九章：Spark Streaming实时数据分析

1.Spark Streaming功能介绍 2.NC服务安装并运行SparkStreaming 3.Spark Streaming服务架构及工作原理 4.Spark Streaming编程模型 5.Spark Streaming读取Socket流数据 6.Spark Streaming结果数据保存到外部数据库 7.SparkStreaming与Kafka集成进行数据处理

 

第二十章：Structrued Streaming业务数据实时分析

1.Structured Streaming 概述及架构 2.Structured Streaming 编程模型 3.实时数据处理业务分析 4.Stuctured Streaming 与Kafka集成（一） 5.Stuctured Streaming 与Kafka集成（二） 6.Stuctured Streaming 与MySQL集成 7.基于结构化流完成业务数据实时分析（一） 8.基于结构化流完成业务数据实时分析（二） 9.基于结构化流完成业务数据实时分析（三）

 

第二十一章：大数据Web可视化分析系统开发

1.基于业务需求的WEB系统设计 2.下载Tomcat并创建Web工程 3.Web系统数据处理服务层开发 4.基于WebSocket协议的数据推送服务开发 5.基于Echart框架的页面展示层开发（一） 6.基于Echart框架的页面展示层开发（二） 7.工程编译并打包发布 8.启动各个服务并展示最终项目运行效果

 

第二十二章：总结

1. 系统设计总结 2. 技术选型与应用总结 3. 多种业务场景注意的几个问题

 

常见问题

Q：会有实际上机演示和动手操作吗？

A：本课程为项目拆解课，全程实操演练！不仅仅是简单演示，而是手把手带你操练真实项目。

 

Q：在线课程怎么答疑？

A： 每个班级会建立专门的班级QQ群，学员可以针对课程中的问题，或者自己学习与动手实践中的问题，向老师提问，老师会进行相应解答。同时，强烈推荐大家到官网技术问答区提问，方便知识的沉淀，同时也避免因为QQ群信息刷屏而导致你的问题被老师错过。

 

【微信扫描二维码，9元参团】