大数据实战派 都爱大讲台

当前位置:首页  /  课程  /  Spark Streaming技术社区网站广告实时点击分析系统

Spark Streaming技术社区网站广告实时点击分析系统

Spark Streaming技术社区网站广告实时点击分析系统

分享到:

基于社区广告用户实时点击项目进行讲解,偏重于Spark Streaming业务代码实现,解决恶意刷广告行为以及实现广告最优投放,提升Spark项目开发经验。 涵盖大数据实时计算一体化的处理流程,包括数据实时接入、数据实时处理以及数据实时可视化。

  • ¥399   ¥399 

时长    22小时41分          

全款购买 当前学习人数 134 收藏

有效期:365天
有效期自支付成功后开始计算。


课程介绍

基于社区广告用户实时点击项目进行讲解,偏重于Spark Streaming业务代码实现,解决恶意刷广告行为以及实现广告最优投放,提升Spark项目开发经验。 涵盖大数据实时计算一体化的处理流程,包括数据实时接入、数据实时处理以及数据实时可视化。


Spark广告项目架构图


Spark广告项目运行效果图


课程特色

1、基于社区广告用户实时点击项目进行讲解,项目真实且整个开发流程系统完整。
2、该项目通过Spark Streaming对社区广告用户点击进行实时统计分析。
3、该项目侧重于Spark Streaming业务代码的完整实现、优化以及对业务难点问题的解决。



课程目标

学完本课程可胜任Spark开发工程师



涉及技术

hadoop-2.5.0-cdh5.3.6、spark-1.6.1-bin-2.5.0-cdh5.3.6、kafka_2.10-0.8.2.1、zookeeper-3.4.5-cdh5.3.6、scala-2.11.4、MySQL、J2EE、Servlet、Echarts



适用人群

1、对大数据有一定了解的学员;
2、有java编程基础想做大数据实时计算的学员;
3、想转行或者从事海量数据实时计算的学员;
4、想提升大数据相关技能和积累项目经验的学员;



服务

1、提供Spark项目交流群:413581066
2、提供Spark项目答疑服务
3、提供与Spark项目老师交流机会

讲师介绍

  • 亚瑟

    大讲台大数据特聘讲师|某智能交通大数据资深工程师

    某智能交通大数据小组Team Leader,曾在社交网络、移动广告、物流交通等行业研发大数据平台,对离线计算和实时计算有多年实际项目开发经验。精通Hadoop、Flume、Kafka、Spark、Hbase等大数据相关技术组件,热衷于分享和交流大数据技术,擅长从代码的角度手把手带领大家做企业真实项目。

免费视频这么多,为什么还要来大讲台?

智能化

学习任务智能推送

混合式

“图文+视频”混合式课件

答疑快

30分钟问答响应

实战多

3分理论7分实战

包学会

账号长期有效学会为止

课程大纲

第一章:项目需求分析与设计
项目背景介绍
项目需求分析
项目环境要求
项目开发流程
第二章:项目技术方案与数据库表设计
详解需求分析
数据格式介绍
项目技术方案设计
数据库表设计
第三章:项目相关环境配置
Myeclipse安装配置
Linux环境准备与配置
Zookeeper分布式集群配置
Hadoop分布式集群配置
Kafka分布式集群配置
Spark分布式集群配置
第四章:统计用户广告点击量
创建Kafka topic
编写Spark代码统计用户广告点击量
Spark与Kafka集成测试
第五章:用户广告点击量数据入库
编写Dao接口及实现类
编写数据库配置文件
数据库测试运行
集群连接及参数调整
用户广告点击量入库测试
第六章:黑名单机制开发
制定黑名单过滤算法
编写业务代码将黑名单用户入库
解决黑名单用户重复入库问题
使用黑名单过滤的技术方案,过滤原始日志数据
第七章:项目代码重构及优化
封装黑名单业务代码
规划后续业务模块接口
黑名单过滤模块阶段测试
第八章:业务模块一:广告点击量实时统计(地市级)
业务统计代码实现
数据入库代码实现
阶段测试
第九章:业务模块二:热门广告TopN统计(省级)
业务统计代码实现
数据入库代码实现
阶段测试
第十章:业务模块三:统计广告近1小时点击量趋势
业务统计代码实现
数据入库代码实现
阶段测试
第十一章:项目整体测试
业务模块一测试
业务模块二测试
业务模块三测试
第十二章:Web项目可视化
后台代码开发
前台页面开发
基于Highchart框架数据可视化

你可能还喜欢的课程

  • 【千元钜惠】 资深大数据架构大佬全程直播,传授硬核技能:①OLAP/HTAP/湖仓一体等多种架构;②借FlinkCDC/Kylin/Hudi/Doris等打造数仓;③湖仓一体化项目落地实践;④基于Flink和StreamX打造低代码大数据中台

    查看详情 QQ咨询

    大数据实战精英+架构师班

    查看详情 4个月

  • 【千元钜惠】 手握6000+节点的大数据运维大咖全程直播,4个月带你熟悉大数据集群规划、部署、监控、排错、容器化等技能,并完成3个商业项目。

    查看详情 QQ咨询

    大数据运维尖刀班

    查看详情 4个月

  • 【3重优惠】 技术大牛组团授课,专讲大数据核心知识和大型项目实战,多台物理服务器数十个节点现场直播演示!企业级实战项目让你四个月掌握2年的项目经验!

    查看详情 QQ咨询

    大数据开发工程师特训营

    查看详情 16周

  • 【优惠活动】 新东方、搜狗、腾讯等名企一线实战讲师授课,技“高”一筹!重在培养数据分析方法及思路,而不仅仅是学习技术及工具。带教多个互联网及金融领域企业真实项目,而不仅仅是讲理论和小案例。

    查看详情 QQ咨询

    数据分析特训营

    查看详情 16周

  • 本课程为大数据金融信贷项目实战课,着重讲解企业中常用的大数据技术理论与实战,如Hadoop、Hive、HBase、Sqoop、Flume、Kafka、Spark Streaming、Spark SQL、Spark Structured Streaming等。课程包含离线项目和实时项目,从项目业务需求、技术选型、架构设计、集群安装部署、集成开发以及项目可视化进行多方位实战讲解。

    查看详情 QQ咨询

    互联网金融信贷项目实战(Hadoop&Spark)

    查看详情 38小时44分钟

  • 干货多:15案例 + 3实战 + 2项目;
    提升快:滴滴出行一线架构师传授实战经验,30小时多方位讲解数据仓库构建相关理论及实战内容
    技术全:综合运用Hive/Flume/Kafka/Azkaban/Oozie/SparkSQL等技术;

    查看详情 QQ咨询

    基于大数据体系构建数据仓库

    查看详情 32小时52分钟

  • 本课程基于某电商公司运营实时分析系统(2B),对Flink进行系统讲解。通过本课程的学习,既能获得Flink企业级真实项目经验,也能深入掌握Flink的核心理论知识,还能获得Flink在生产环境中安装、部署、监控的宝贵经验,从而深入掌握Flink技术。

    查看详情 QQ咨询

    Flink电商运营项目实战

    查看详情 50小时6分钟

他们在学

  • 白衣

  • 冯雪然

  • ن عشق لی ژژ

  • James

  • 半缘君

  • 151****2558

  • zookeeper

  • 24350

  • 柯南vs金田一一

  • 苍穹*天下

  • 一开口就是老江湖

  • 17295

  • 136****9550

  • 哪路脱

  • 解药

  • 雷老师

 
QQ在线咨询
微信扫码咨询