Python Spark 全栈高手速成

课程介绍

本课程基于最新的Spark 2讲解，使用目前最流行的Python语言进行开发，内容涵盖了企业中大数据处理的四大场景：离线批处理、流式计算、SQL处理、机器学习。

课程特色

本课程以案例驱动详细介绍Spark的四种主要应用场景，包括Spark Core、Spark SQL（包括 SQL和DataFrame）、Spark Streaming、Spark ML，并精选实际工程中典型案例代码，课程中会将理论和实践相结合，如果你有大数据基础但项目经验不足，那么这个课程一定能帮到你。

课程目标

1、掌握spark core 架构，掌握典型transformation的运行逻辑和DAG，能独立完成pagerank算法并应用到业务场景；
2、掌握Spark SQL和主流大数据库Hive、MySQL的集成方案，以及数据互通；
3、掌握Spark DataFrame的优势常用算子的使用，能完成ETL中典型清洗任务；
4、掌握Spark DataFrame如何处理复杂结构的IOT数据格式；
5、掌握Kafka的体系架构、生产者、消费者、分区的设计和使用，以及和Spark Streaming的互通；
6、熟悉掌握spark-streaming流式计算编程，熟悉各种算子的计算逻辑；
7、掌握spark-streaming中开窗、检查点、高可用等技术，能够打造高可靠的流应用；
6、掌握两种典型的机器学习算法（逻辑回归、推荐系统）的使用；

适用人群

1、对大数据有简单了解的学员；
2、有Python编程基础想进阶提升的学员；
3、想转行或者从事海量数据实时计算的学员；
4、想提升大数据相关技能和积累项目经验的学员；

讲师介绍

张晓明

大讲台合作讲师 | 国内知名金融公司资深数据挖掘

阿里系大数据工程师出身，专业数据挖掘10余年，曾服务于电商、广告、电信、金融等行业大数据平台，全套spark、Hadoop、Flume、Kafka、Spark 、HBase大数据经验。精通数据挖掘、机器学习、深度学习全栈数据变现技术。

免费视频这么多，为什么还要来大讲台？

智能化

学习任务智能推送

混合式

“图文+视频”混合式课件

答疑快

30分钟问答响应

实战多

3分理论7分实战

包学会

账号长期有效学会为止

课程大纲

第一章：课程介绍与环境搭建

1.整个课程介绍
2.Python 大数据开发优势
3.MapReduce框架的局限性
4.Hadoop 生态圈
5.Spark 优势
6.Spark 特点
7.Spark2 新特性
8.Spark 开发环境搭建

第二章：Spark Core RDD开发详解

1.RDD 是什么
2.RDD 特性
3.RDD 核心属性
4.RDD 创建方式
5.RDD Transfamation与Action
6.RDD 核心算子
7.RDD 典型算子执行过程

第三章：Spark RDD开发实战

1.Spark 实战-用户画像
2.Spark 实战-PageRank

第四章：Spark SQL开发详解

1.Spark SQL 基础理论详解
2.Spark SQL 集成Hive
3.Spark SQL 集成MySQL
4.Spark SQL实战-用户转化率分析

第五章：Spark SQL DataFrame开发详解

1.Spark DataFrame-定义
2.Spark DataFrame-DataFrame1vsDataFrame2
3.Spark DataFrame-创建方式
4.Spark DataFrame API-直接创建
5.Spark DataFrame API-读取CSV
6.Spark DataFrame API-增加列
7.Spark DataFrame API-删除列
8.Spark DataFrame API-统计信息
9.Spark DataFrame API-指定提取列
10.Spark DataFrame API-filter过滤
11.Spark DataFrame API-统计：去重、分组、自定义
12.Spark DataFrame API-数据集拆分
13.Spark DataFrame API-采样数据
14.Spark DataFrame API-交叉表
15.Spark DataFrame API-sql功能
16.Spark DataFrame API-综合案例

第六章：Spark SQL DataFrame实战（一）

1.JSON数据源
2.从JSON到DataFrame
3.加载JSON数据
4.嵌套结构的JSON
5.Spark SQL DataFrame实战-物联网项目

第七章：Spark SQL DataFrame实战(二)

1.Spark SQL DataFrame数据清洗-删除重复数据
2.Spark SQL DataFrame数据清洗-处理缺失值
3.Spark SQL DataFrame数据清洗-异常值处理
4.Spark SQL DataFrame数据清洗-建立数据的印象

第八章：Spark Streaming详解

1.Spark Streaming 架构原理
2.Spark Streaming-Streaming Context
3.Spark Streaming-DStream
4.Spark Streaming-Receiver接收器
5.Spark Streaming-数据源
6.Spark Streaming-可靠性
7.Spark Streaming-DStream的操作
8.Spark Streaming-缓存
9.Spark Streaming-Checkpoint检查点

第九章：Spark Streaming Kafka实战

1.Kafka架构原理详解
2.安装配置Zookeeper
3.安装配置Kafka
4.创建Kafka Topic
5.配置Spark Streaming Kafka开发环境
6.Spark Streaming整合Kafka-代码开发
7.Spark Streaming整合Kafka-优化

第十章：Spark 机器学习实战

1.Spark 机器学习实战-逻辑回归
2.Spark 机器学习实战-推荐系统

你可能还喜欢的课程

【千元钜惠】年薪200w+的大数据架构师全程直播，传授硬核技能：①OLAP/HTAP/湖仓一体等多种架构；②借FlinkCDC/Kylin/Hudi/Doris等打造数仓；③湖仓一体化项目落地实践；④基于Flink和StreamX打造低代码大数据中台

查看详情 QQ咨询

大数据实战精英+架构师班

查看详情 4个月
【千元钜惠】手握6000+节点的大数据运维大咖全程直播，4个月带你熟悉大数据集群规划、部署、监控、排错、容器化等技能，并完成3个商业项目。

查看详情 QQ咨询

大数据运维尖刀班

查看详情 4个月
【3重优惠】技术大牛组团授课，专讲大数据核心知识和大型项目实战，多台物理服务器数十个节点现场直播演示！企业级实战项目让你四个月掌握2年的项目经验！

查看详情 QQ咨询

大数据开发工程师特训营

查看详情 16周
【优惠活动】新东方、搜狗、腾讯等名企一线实战讲师授课，技“高”一筹！重在培养数据分析方法及思路，而不仅仅是学习技术及工具。带教多个互联网及金融领域企业真实项目，而不仅仅是讲理论和小案例。

查看详情 QQ咨询

数据分析特训营

查看详情 16周
本课程为大数据金融信贷项目实战课，着重讲解企业中常用的大数据技术理论与实战，如Hadoop、Hive、HBase、Sqoop、Flume、Kafka、Spark Streaming、Spark SQL、Spark Structured Streaming等。课程包含离线项目和实时项目，从项目业务需求、技术选型、架构设计、集群安装部署、集成开发以及项目可视化进行多方位实战讲解。

查看详情 QQ咨询

互联网金融信贷项目实战（Hadoop&Spark）

查看详情 38小时44分钟
干货多：15案例 + 3实战 + 2项目；
提升快：滴滴出行一线架构师传授实战经验，30小时多方位讲解数据仓库构建相关理论及实战内容
技术全：综合运用Hive/Flume/Kafka/Azkaban/Oozie/SparkSQL等技术；

查看详情 QQ咨询

基于大数据体系构建数据仓库

查看详情 32小时52分钟
本课程基于某电商公司运营实时分析系统（2B），对Flink进行系统讲解。通过本课程的学习，既能获得Flink企业级真实项目经验，也能深入掌握Flink的核心理论知识，还能获得Flink在生产环境中安装、部署、监控的宝贵经验，从而深入掌握Flink技术。

查看详情 QQ咨询

Flink电商运营项目实战

查看详情 50小时6分钟

他们在学

无影27606
26249
冯雪然
丁治
雷老师
小讲@大讲台
戈启业
21522
135****2013
新力清啤
张老师
20608
冷月无声
20333
银月天龙
江左梅郎