课程介绍
本项目基于爱奇艺用户行为项目进行讲解，快速提升Spark Streaming实时计算项目经验。本项目通过近35课时的集中讲解，从项目需求分析到数据采集，然后通过Spark Streaming完成业务统计，接着完成数据入库HBase，最后通过SpringBoot结合echart完成数据可视化。
课程特色
1、基于爱奇艺用户行为项目进行讲解，项目真实且整个开发流程系统完整。
2、该项目通过Spark Streaming完成对爱奇艺用户行为进行统计分析。
3、近35课时的讲解，课程内容进行了居多拓展，涉及大数据多方面的技能讲解。
适用人群
1、有大数据基础的学员；
2、有Java或者scala编程基础的学员；
3、对大数据感兴趣想转行的学员；
4、想提升大数据相关技能和积累项目经验的学员；
涉及技术
Hadoop2.x、Zookeeper、Flume、Kafka、Spark Streaming、Hbase、MySQL、SpringBoot、Echarts
讲师介绍
-
张长志
大数据项目经理
09年在中国联通做JavaWeb开发工程师，11年在Motorola做Android开发负责人，15年成立猿团科技。工作中主要负责Spark、Python和移动端开发，管理过多个大型项目。在工作之余给企业和一些培训机构做Android、Hadoop、Spark培训，中国第一个讲跨平台技术的人。
免费视频这么多，为什么还要来大讲台？
智能化
学习任务智能推送
混合式
“图文+视频”混合式课件
答疑快
30分钟问答响应
实战多
3分理论7分实战
包学会
账号长期有效学会为止
课程大纲
|
00.爱奇艺实时统计的一个概述 01.生成环境中日志产生的一个描述 02.项目使用的技术点以及开发对应的流程顺序 03.互联网访问日志概述 04.日志的真实数据介绍并且讲解对应的栏目的log样式 05.脚本生成Log日志方式上 05.脚本生成Log日志方式下 06.通过linux自带的定时器定时生成日志 07.启动和配置flume、kafka 08.开发环境搭建 09.flume和kafka和SparkStreaming联通和测试 10.数据库的介绍和选择 11.启动hdfs和zk和hbase并且创建hbase表 12.写一个操作Hbase的工具类操作HBase增加 13.项目时间工具的实现 14.根据条件对产生的实时流做数据清洗并且封装成类 15.项目中的DAO操作Hbae的增加和查询并且可以分批保存和测试 16.保存手机的数据累加到Hbase中 17.功能二的DAO增和查询的实现 18.功能二处理业务逻辑保存到hbase数据库里面 19.项目运行在真实的生成环境上面 20.项目中spark脚本的编写和运行 21.数据可视化只为什么要可视化 22.数据可视化之web页面的搭建 23.数据可视化之第一个springboot应用程序 24.数据可视化之echart的介绍和使用范围 25.数据可视化之springboot创建web应用并返回html页面 26.数据可视化之springboot继承echart的页面 27.数据可视化之springboot替换成生成中的饼图 28.数据可视化之HBase数据访问的工具类开发 29.数据可视化之DAO数据访问层开发 30.数据可视化之展示层页面逻辑处理 31.数据可视化之ajax请求数据页面展示 32.数据可视化代码运行在生成服务器中 33.项目在服务器上面运行流程与过程 |
