课程介绍
本项目基于联通用户话单进行讲解，快速提升Spark Sql项目经验。本项目通过近24课时的集中讲解，从项目需求分析到数据采集，然后通过Spark Sql完成业务统计，接着完成数据入库mysql，最后通过php结合echart完成数据可视化。
课程特色
1、基于联通用户话单项目进行讲解，项目真实且整个开发流程系统完整。
2、该项目通过Spark Sql完成联通用户话单业务统计分析。
3、近24课时的讲解，课程内容进行了居多拓展，涉及大数据多方面的技能讲解。
适用人群
1、有大数据基础的学员；
2、有Java或者scala编程基础的学员；
3、对大数据感兴趣想转行的学员；
4、想提升大数据相关技能和积累项目经验的学员；
涉及技术
Hadoop2.x、Zookeeper、Spark、SparkSQL、Hbase、MySQL、FTP、Php、Echarts
讲师介绍
-
张长志
大数据项目经理
09年在中国联通做JavaWeb开发工程师，11年在Motorola做Android开发负责人，15年成立猿团科技。工作中主要负责Spark、Python和移动端开发，管理过多个大型项目。在工作之余给企业和一些培训机构做Android、Hadoop、Spark培训，中国第一个讲跨平台技术的人。
免费视频这么多，为什么还要来大讲台？
智能化
学习任务智能推送
混合式
“图文+视频”混合式课件
答疑快
30分钟问答响应
实战多
3分理论7分实战
包学会
账号长期有效学会为止
课程大纲
|
01.电话话单统计项目需求介绍 02.需求使用范围以及背景介绍 03.电话话单的总体流程介绍 04.通过Mysql查询连续三个月话单过程 05.电话话单的数据模拟以及代码生成日志数据 06.电话话单的数据上传到hdfs上面 07.电话连续三个月话单的统计 08.时间格式化以及FastDateParser与传统的时间格式化对比 09.时间格式化跨年寻找三个连续年份的验证 10.过滤数据只计算三个月的数据 11.数据的验证以及怎么在写代码中验证数据和查找问题 12.sparkRDD和Sparksql结合统计出连续三个月的数据 13.sparksql一个语句完成统计结果 14.sparksql通过Writer方式保存在mysql里面 15.sparksql保存mysql数据库通过自己创建的表进行插入 16.sparksql通过自定义分区方式进行保存 17.sparksql获取6个月的详情信息 18.sparksql保存6个月的数据到mysql里面 19.页面展示阿里dataV和echart简单介绍 20.页面展示的样式需求 21.servlet页面实现展示 22.php简单介绍 23.echart整合 24.echart补充 |
