网站介绍：文章浏览阅读2.4k次。Spark比MapReduce计算速度快的原因Spark与MapReduce都是当今主流的离线分布式大数据计算框架，在实际工作中应用广泛。众所周知，spark的数据处理速度要比MapReduce快很多倍，那具体原因是什么呢？相信大家在面试过程中经常会被问到类似的问题。今天就来给大家好好分析一下具体的原因。MR基于HDFS，所有的中间结果都需要落到HDFS中，需要频繁地进行文件的IO操作，且中间结果使用效率低；而Spark基于内存，通过DAG有向无环图来切分任务的执行先后顺序。尽量将中间结果存储在内存_spark hive mapreduce
- 链接地址：https://blog.csdn.net/qq_36893938/article/details/124167823
- 链接标题：Spark与MapReduce（Hive）对比分析_spark hive mapreduce-CSDN博客
- 所属网站：blog.csdn.net
- 被收藏次数：7011
- 网站标签：spark hive mapreduce
