Spark企业级实战项目：道路交通实时流量监控预测系统

课程介绍

本项目主要采用目前大数据领域最成熟的实时计算框架Spark，它是目前主流企业在实时计算方向采用的主流框架。本项目使用了Spark技术生态栈中的三个技术框架：Spark Core、Spark Streaming和Spark MLlib，进行道路交通实时流量监控预测系统的开发。业务实现包括数据产生模块、数据实时收集处理模块、特征数据提取模块、模型预测模块、数据存储模块。

业务总体需求

项目机器学习算法库Mllib

架构设计

讲师介绍

陶睿

大讲台大数据特聘讲师 | 国有企业智能交通大数据高级工程师

在国有企业以及一线互联网公司从事过大数据开发和架构工作，负责过多个大型大数据系统的架构和开发。精通Hadoop、Storm、Spark等大数据技术。有丰富的企业内部技术分享、技术培训和技术讲座的经验。

免费视频这么多，为什么还要来大讲台？

智能化

学习任务智能推送

混合式

“图文+视频”混合式课件

答疑快

30分钟问答响应

实战多

3分理论7分实战

包学会

账号长期有效学会为止

课程大纲

需求分析

1、项目背景
2、总体业务要求
3、难点分析

数据收集

1、数据采集阶段技术对比
2、项目中数据采集技术Kafka
3、Kafka安装及基本操作
4、Kafka的API操作及项目中应用

数据流处理

1、数据实时处理阶段技术拓展Storm
2、Spark Streaming实用项目解决方案
3、Spark Streaming项目中性能调优

数据快速存取

1、项目存储工具Redis
2、Redis部署、基本操作及项目中使用

模型建立

1、项目机器学习算法库Mllib
2、Mllib基本数据格式
3、项目中实际模型选择

整体解决方案设计

1、产品功能的简单介绍
2、架构设计
3、技术选型
4、部署方案
5、模块设计划分

部署及代码实现

1、测试环境介绍
2、分析模块实现1--数据产生
3、分析模块实现2--数据实时收集处理模块
4、分析模块实现3--特征数据提取及模型预测
5、分析模块实现4--模型预测
6、项目调优

项目总结

你可能还喜欢的课程

【千元钜惠】资深大数据架构大佬全程直播，传授硬核技能：①OLAP/HTAP/湖仓一体等多种架构；②借FlinkCDC/Kylin/Hudi/Doris等打造数仓；③湖仓一体化项目落地实践；④基于Flink和StreamX打造低代码大数据中台

查看详情 QQ咨询

大数据实战精英+架构师班

查看详情 4个月
【千元钜惠】手握6000+节点的大数据运维大咖全程直播，4个月带你熟悉大数据集群规划、部署、监控、排错、容器化等技能，并完成3个商业项目。

查看详情 QQ咨询

大数据运维尖刀班

查看详情 4个月
【3重优惠】技术大牛组团授课，专讲大数据核心知识和大型项目实战，多台物理服务器数十个节点现场直播演示！企业级实战项目让你四个月掌握2年的项目经验！

查看详情 QQ咨询

大数据开发工程师特训营

查看详情 16周
【优惠活动】新东方、搜狗、腾讯等名企一线实战讲师授课，技“高”一筹！重在培养数据分析方法及思路，而不仅仅是学习技术及工具。带教多个互联网及金融领域企业真实项目，而不仅仅是讲理论和小案例。

查看详情 QQ咨询

数据分析特训营

查看详情 16周
本课程为大数据金融信贷项目实战课，着重讲解企业中常用的大数据技术理论与实战，如Hadoop、Hive、HBase、Sqoop、Flume、Kafka、Spark Streaming、Spark SQL、Spark Structured Streaming等。课程包含离线项目和实时项目，从项目业务需求、技术选型、架构设计、集群安装部署、集成开发以及项目可视化进行多方位实战讲解。

查看详情 QQ咨询

互联网金融信贷项目实战（Hadoop&Spark）

查看详情 38小时44分钟
干货多：15案例 + 3实战 + 2项目；
提升快：滴滴出行一线架构师传授实战经验，30小时多方位讲解数据仓库构建相关理论及实战内容
技术全：综合运用Hive/Flume/Kafka/Azkaban/Oozie/SparkSQL等技术；

查看详情 QQ咨询

基于大数据体系构建数据仓库

查看详情 32小时52分钟
本课程基于某电商公司运营实时分析系统（2B），对Flink进行系统讲解。通过本课程的学习，既能获得Flink企业级真实项目经验，也能深入掌握Flink的核心理论知识，还能获得Flink在生产环境中安装、部署、监控的宝贵经验，从而深入掌握Flink技术。

查看详情 QQ咨询

Flink电商运营项目实战

查看详情 50小时6分钟

他们在学

27847
20697
丁乙
在路上16980
咸鱼突刺
一开口就是老江湖
天下
186****8006
185****0250
攻城狮15643
what is this
chosee
189****5813
戈启业
小讲@大讲台
150****1696