Spark原理详解_spark.localexecution.enabled-CSDN博客

网站介绍:文章浏览阅读205次。Hadoop存在缺陷:基于磁盘,无论是MapReduce还是YARN都是将数据从磁盘中加载出来,经过DAG,然后重新写回到磁盘中计算过程的中间数据又需要写入到HDFS的临时文件这些都使得Hadoop在大数据运算上表现太“慢”,Spark应运而生。Spark的架构设计:ClusterManager负责分配资源,有点像YARN中ResourceManager那个角色,大管家握有所有的干活的资源,属于乙方的总包。WorkerNode是可以干活的节点,听大管家ClusterM.._spark.localexecution.enabled