资深大牛帮你剖析Spark到底能不能替代Hadoop？

当前位置：首页 / 福利社 / 资料 / 资深大牛帮你剖析Spark到底能不能替代Hadoop？

资深大牛帮你剖析Spark到底能不能替代Hadoop？

雷老师2016/09/09

看完这篇文章的人大多学习了更多课程>>

JasonHao 2016/10/20

学习

回复
155****2124 2016/10/11

大牛

回复
189****3616 2016/10/03

这么复杂啊

回复
shiny 2016/09/13

老师的那张图很清楚的说明了hadoop 和 spark 的应有位置

回复
叶子青 2016/09/13

两者的侧重点不同，使用场景不同，没有替代之说。

Spark更适合于迭代运算比较多的ML和DM运算。因为在Spark里面，有RDD的概念。RDD可以cache到内存中，那么每次对RDD数据集的操作之后的结果，都可以存放到内存中，下一个操作可以直接从内存中输入，省去了MapReduce大量的磁盘IO操作。但是，我们也要看到spark的限制：内存。

Hadoop虽然费时，但是在OLAP等大规模数据的应用场景，还是受欢迎的。目前Hadoop涵盖了从数据收集、到分布式存储，再到分布式计算的各个领域，在各领域都有自己独特优势。

回复
Robin 2016/09/13

个人认为当下Hadoop生态体系相当庞大，且技术日趋成熟，Spark还有待发展。

如果有一天，Hadoop加进内存计算模型，到时，Spark又会是怎样的处境呢？

回复
虫子 2016/09/13

不用纠结谁取代谁，两个技术都有自己适合的应用场景

二者得其一，足以拿高薪娶白富美

回复
WuJian 2016/09/13

对于spark是否要取代hadoop的问题，我曾经听很多人说过，也看过很多的文章。真正做了大数据之后才发现，当初真的 too young too simple

这个视频中老师的讲解是我见过最客观的，之前也没有听任何其它老师这样透彻的分析过，真心表示认同

回复