spark架构及生态_内存计算框架spark论文-CSDN博客

网站介绍:文章浏览阅读347次。通常当需要处理的数据量超过了单机尺度(比如我们的计算机有4GB的内存,而我们需要处理100GB以上的数据)这时我们可以选择spark集群进行计算,有时我们可能需要处理的数据量并不大,但是计算很复杂,需要大量的时间,这时我们也可以选择利用spark集群强大的计算资源,并行化地计算,其架构示意图如下Spark Core:包含Spark的基本功能;尤其是定义RDD的API、操作以及这两者上的动作..._内存计算框架spark论文