高端IT人才在线实训平台

当前位置:首页  /  课程  /  Spark 知名手机项目系列(二):用户成长体系

Spark 知名手机项目系列(二):用户成长体系

Spark 知名手机项目系列(二):用户成长体系

分享到:

基于Spark知名手机厂商用户行为实时分析系统,对Spark手机项目横向业务扩展,重点解决大数据项目中的高吞吐、高并发的实际难题,快速提升真实的大数据项目经验。

  • 原价  ¥699

  • 特惠价  ¥399

时长    12小时直播(比预计多4个小时)          

全款购买 当前学习人数 88 收藏

基于Spark知名手机厂商用户行为实时分析系统,对Spark手机项目横向业务扩展,重点解决大数据项目中的高吞吐、高并发的实际难题,快速提升真实的大数据项目经验。

项目介绍

1、根据用户上报的数据,给用户增加成长值,用户得到成长值后可以升级,每个级别有不同的特权,比如等级越高享有的特权就越高,比如可以获得视频会员、电影票等。

2、业务系统跟大数据系统紧密结合,业务系统将用户数据写入分布式消息队列kafka,消费者根据业务逻辑写入关系型数据库和列存储数据库hbase.

3、利用kafka提供的消费者api编写分布式消费者,结合kafka体系结构零距离接触kafka低级、高级消费者api以及新消费者API,更深入了解kafka,设计高吞吐量的消费者。

4、项目包含用户行为上报项目、分布式消费者项目、成长体系用户接口项目,大数据+业务系统高可用高并发的构架方案。

5、涉及的技术java、mysql、redis、kafka、hbase、Hadoop、Spark

课程特色

1.该项目基于Spark知名手机厂商用户行为实时分析系统,对Spark手机项目横向业务扩展,重点解决大数据项目中的高吞吐、高并发的实际难题,快速提升真实的大数据项目经验。

2.该项目涵盖大数据项目中的热门技术,同时涉及如何为Kafka设计吞吐量的消费者,以及实现 HBase高并发编程接口。

3.该项目基于知名手机项目线上业务的实现,注重企业项目真实问题的解决以及性能的提升与优化,拒绝小demo小案例。

4.知名企业一线大数据工程师负责项目的讲解,并参与项目答疑。

项目涉及技术

Java,Mysql、Redis、Kafka,Hbase、Hadoop YARN,Spark-streaming

Hadoop:分布式文件存储系统、资源管理平台,负责spark-streaming的文件存储和资源分配

Spark-streaming:基于内存的高吞吐量实时流式计算

Kafka:分布式高并发消息队列,业务系统将用户数据写入分布式消息队列kafka

Hbase:亿级行百万列并可毫秒级查询的数据库,可快速查询我们的计算数据

适用人群

1、熟悉大数据相关组件(Kafka、HBase)的学员;

2、有java编程基础的学员;

3、想转行或者从事大数据项目开发的学员;

4、想提升大数据项目高吞吐、高并发经验的学员。

课程目标

1、从全局了解业务系统和大数据系统紧密结合的项目设计与实战,打开同学们的大局观,而不是只了解局部。

2、学会根据业务建立合适的模型,从而达到举一反三的目的。

3、kafka的生产者和消费者很重要,你自认为掌握了吗?其实没有!因为平时我们用的都是第三方开源项目给我们封装好了的生产者和消费者,致使我们接触不到核心的api。本次课程零距离让同学们接触生产者和消费者API开发实战,进一步了解kafka,从而对kafka+spark-streamming的使用感悟会更深、原理会更清晰。

4、熟练掌握hbase在业务系统中的应用场景。

5、掌握如何利用缓存来达到高性能的接口设计。

讲师介绍

  • 杨哲

    大讲台大数据特聘讲师 | 国内知名手机厂商大数据资深工程师

    某大型手机厂商大数据小组Team Leader,对离线计算和实时计算都有丰富的经验。从业时间10年,曾在社交网络、移动广告、视频等行业研发大数据平台,擅长Hadoop、Flume、Kafka、Spark 、hbase大数据相关技术。在高可用高并发的业务系统的研发以及构架设计也有丰富的经验,热衷于将业务系统和大数据系统相结合的项目开发与设计。

开课时间

2018年1月14日(周日晚)

学习方式

在线直播,8课时;

1月14、1月21、1月28、1月29日晚上20:00-22:00;

直播后提供回放视频,可在线反复观看,有效期1年


课程大纲

一、企业项目架构优化及演进
1.1 项目课程目标
1.2 项目产生背景
1.3 项目构架演进
1.4 项目需求分析
1.5 项目重难点介绍
1.6 项目技术选型
二、用户数据采集实战
2.1 项目接口数据格式的定义与分析
2.2 客户端对用户上报的数据进行unzip压缩和AES对称加密,保护用户隐私数据。
2.3 服务端采用注解对用户数据进行解密、解压,并校验数据有效性
2.4 使用httpclient模拟手机APP用户上报数据
2.5 Kafka生产者创建与配置详解
2.6 如何指定Kafka分区策略
三、消费者数据消费实战
3.1 hbase、mysql、redis建模
3.2 高级分布式消费者编写,并剖析消费者和zookeeper之间的关系
3.3 参数调优让消费者吞吐量达到最高
3.4 详解消费线程和kafka分区之间的关系
3.5 消费者的高可用实战操作
3.6 用户成长体系业务逻辑处理
3.7 企业项目中消费者如何优雅停止而非暴力关闭
3.8 offset如何提交
3.9 消费者线程池详解
四、低级消费者、新消费者实战
4.1 低级消费者实战
4.2 自己如何获取分区的leader、offset,以及自己如何维护分区的offset
4.3 新消费者实战(新版本kafka去掉了高级和低级消费者)
五、高并发接口实战
5.1 用户成长接口设计
5.2 用户等级接口设计
5.3 用户成长流水接口设计
5.4 如何有效利用缓存提供性能
六、项目总结

常见问题

Q:会有实际上机演示和动手操作吗?

A:本课程为项目拆解课,全程实操演练!不仅仅是简单演示,而是手把手带你操练真实项目。

Q:项目代码会提供么?

A:课程提供完整的项目代码。

Q:在线直播课程怎么答疑?

A: 每个班级会建立专门的班级QQ群,学员可以针对课程中的问题,或者自己学习与动手实践中的问题,向老师提问,老师会进行相应解答。同时,强烈推荐大家到官网技术问答区提问,方便知识的沉淀,同时也避免因为QQ群信息刷屏而导致你的问题被老师错过。

你可能还喜欢的课程

  • 年薪200w+的大数据架构师全程直播,4个月时间带你玩转大数据技术栈热门组件,并完成两个大型项目的开发:1)Flink实时数仓,2)Spark个性化推荐。

    查看详情 立即试学

    大数据实战精英+架构师班

    ¥6800 4个月

  • 技术大牛组团授课,专讲大数据核心知识和大型项目实战,多台物理服务器数十个节点现场直播演示!企业级实战项目让你四个月掌握2年的项目经验!

    查看详情 立即试学

    大数据特训营

    16周

  • 新东方、搜狗、腾讯等名企一线实战讲师授课,技“高”一筹!重在培养数据分析方法及思路,而不仅仅是学习技术及工具。带教多个互联网及金融领域企业真实项目,而不仅仅是讲理论和小案例。

    查看详情 立即试学

    数据分析特训营

    立即试学 16周

  • 干货多:15案例 + 3实战 + 2项目;
    提升快:滴滴出行一线架构师传授实战经验,30小时多方位讲解数据仓库构建相关理论及实战内容
    技术全:综合运用Hive/Flume/Kafka/Azkaban/Oozie/SparkSQL等技术;

    查看详情 立即试学

    基于大数据体系构建数据仓库

    ¥599 35小时

  • 本课程基于某电商公司运营实时分析系统(2B),对Flink进行系统讲解。通过本课程的学习,既能获得Flink企业级真实项目经验,也能深入掌握Flink的核心理论知识,还能获得Flink在生产环境中安装、部署、监控的宝贵经验,从而深入掌握Flink技术。

    查看详情 立即试学

    【精品课】Flink大数据项目实战

    ¥399 37.9小时

他们在学

  • Sunshine21591

  • 沙滩☆落日

  • 17295

  • 努力的吴老六

  • xinson

  • byq_shuai

  • 北京-WJ

  • 雷老师

  • wjl7813

  • 138****5620

  • 134****3806

  • 151****0251

  • 夏慕振

  • xilix

  • 1043722984

  • 若水

客服
咨询