高端IT人才在线实训平台

当前位置:首页  /  课程  /  Spark企业级实战项目:道路交通实时流量监控预测系统

Spark企业级实战项目:道路交通实时流量监控预测系统

Spark企业级实战项目:道路交通实时流量监控预测系统
分享到:

理论一箩筐,不如真刀真抢干一场!本项目使用了Spark技术生态栈中的三个技术框架:Spark Core、Spark Streaming和Spark MLlib,进行道路交通实时流量监控预测系统的开发。

该课程已经下线,欢迎挑选其他课程!

课程介绍

本项目主要采用目前大数据领域最成熟的实时计算框架Spark,它是目前主流企业在实时计算方向采用的主流框架。本项目使用了Spark技术生态栈中的三个技术框架:Spark Core、Spark Streaming和Spark MLlib,进行道路交通实时流量监控预测系统的开发。业务实现包括数据产生模块、数据实时收集处理模块、特征数据提取模块、模型预测模块、数据存储模块。


业务总体需求

项目机器学习算法库Mllib

架构设计


讲师介绍

  • 陶睿

    大讲台大数据特聘讲师   |   国有企业智能交通大数据高级工程师

    在国有企业以及一线互联网公司从事过大数据开发和架构工作,负责过多个大型大数据系统的架构和开发。精通Hadoop、Storm、Spark等大数据技术。有丰富的企业内部技术分享、技术培训和技术讲座的经验。

免费视频这么多,为什么还要来大讲台?

智能化

学习任务智能推送

混合式

“图文+视频”混合式课件

答疑快

30分钟问答响应

实战多

3分理论7分实战

包学会

账号长期有效学会为止

课程大纲

需求分析
1、项目背景
2、总体业务要求
3、难点分析
数据收集
1、数据采集阶段技术对比
2、项目中数据采集技术Kafka
3、Kafka安装及基本操作
4、Kafka的API操作及项目中应用
数据流处理
1、数据实时处理阶段技术拓展Storm
2、Spark Streaming实用项目解决方案
3、Spark Streaming项目中性能调优
数据快速存取
1、项目存储工具Redis
2、Redis部署、基本操作及项目中使用
模型建立
1、项目机器学习算法库Mllib
2、Mllib基本数据格式
3、项目中实际模型选择
整体解决方案设计
1、产品功能的简单介绍
2、架构设计
3、技术选型
4、部署方案
5、模块设计划分
部署及代码实现
1、测试环境介绍
2、分析模块实现1--数据产生
3、分析模块实现2--数据实时收集处理模块
4、分析模块实现3--特征数据提取及模型预测
5、分析模块实现4--模型预测
6、项目调优
项目总结
项目总结

你可能还喜欢的课程

  • 技术大牛组团授课,专讲大数据核心知识和大型项目实战,多台物理服务器数十个节点现场直播演示!企业级实战项目让你四个月掌握2年的项目经验!

    查看详情 立即试学

    大数据就业特训营

    试学价:¥99 16周

  • 本课程重在培养学员数据分析逻辑及思路,并结合常用技术及工具,落实完善分析框架,并结合互联网平台实战经验,分享用户研究、用户精细化分析、产品精细化分析等专项案例。针对零基础或想转战数据分析/数据运营岗位的学员,培养数据分析思维及技巧;针对有一定分析水平的学员,提升分析及技巧水平。

    查看详情 立即试学

    数据分析就业特训营

    试学价:¥99 14周

  • 前端畅销书作者、百度和腾讯工程师组团授课。网易云音乐、京东天猫首页、炫酷游戏和H5页面手把手带你轻松搞定,还有Angular.js、ES6等必杀技要被你Get。

    查看详情 立即试学

    大数据可视化就业特训营

    试学价:¥99 14周

  • 和大讲台广受欢迎的Hadoop课程一样,这门Spark志在就业,剑指高薪。不玩多而全的碎碎念,而是专注于把核心组件讲透讲深入;不玩小儿科demo ,而是拿企业级项目带教实战;不局限于Spark本身,而是经常稍带一些大型项目经验及最新的NB技术,在帮你拓展视野的同时也能顺道装逼。

    查看详情 立即试学

    Spark高薪就业课

    ¥3800 试学价:¥99 10周

  • 本课程上半部分会从Tensorflow的安装开始,讲解Tensorflow中的各种技术细节。让大家快速上手编写神经网络。也会补充一些深度学习相关的理论知识,如交叉熵,Softmax函数,各种优化器的算法和应用等内容。 下半部分会讲解几个深度学习的项目,如图像识别,验证码识别,word2vec,语音分类等。

    查看详情 立即试学

    深度学习框架-TensorFlow从入门到精通

    ¥199 14天

他们在学

  • 小讲@大讲台

  • 雷老师

  • 风清扬

  • 坚_Zhouls_持

  • 倔强

  • jhg22

  • 谷谷

  • 15977116036

  • 黑色

  • 王少杰

  • 小布

  • 272070378

  • zhangjun9709030

  • 花满楼

  • 梁娜

意见
反馈