高端IT人才在线实训平台

当前位置:首页  /  福利社  /   资料分享   /  资深大牛帮你剖析Spark到底能不能替代Hadoop?

资深大牛帮你剖析Spark到底能不能替代Hadoop?

雷老师2016/09/09         

看完这篇文章的人大多学习了更多课程>>

  • JasonHao 2016/10/20

    学习

    回复

  • 155****2124 2016/10/11

    大牛

    回复

  • 189****3616 2016/10/03

    这么复杂啊

    回复

  • shiny 2016/09/13

    老师的那张图很清楚的说明了hadoop 和 spark 的应有位置

    回复

  • 叶子青 2016/09/13

    两者的侧重点不同,使用场景不同,没有替代之说。


    Spark更适合于迭代运算比较多的ML和DM运算。因为在Spark里面,有RDD的概念。RDD可以cache到内存中,那么每次对RDD数据集的操作之后的结果,都可以存放到内存中,下一个操作可以直接从内存中输入,省去了MapReduce大量的磁盘IO操作。但是,我们也要看到spark的限制:内存。


    Hadoop虽然费时,但是在OLAP等大规模数据的应用场景,还是受欢迎的。目前Hadoop涵盖了从数据收集、到分布式存储,再到分布式计算的各个领域,在各领域都有自己独特优势。

    回复

  • Robin 2016/09/13

    个人认为当下Hadoop生态体系相当庞大,且技术日趋成熟,Spark还有待发展。

    如果有一天,Hadoop加进内存计算模型,到时,Spark又会是怎样的处境呢?

    回复

  • 虫子 2016/09/13

    不用纠结谁取代谁,两个技术都有自己适合的应用场景

    二者得其一,足以拿高薪娶白富美

    回复

  • WuJian 2016/09/13

    对于spark是否要取代hadoop的问题,我曾经听很多人说过,也看过很多的文章。真正做了大数据之后才发现,当初真的 too young too simple


    这个视频中老师的讲解是我见过最客观的,之前也没有听任何其它老师这样透彻的分析过,真心表示认同

    回复

意见
反馈