网站介绍：文章浏览阅读175次。在大数据的诸多技术框架当中，Spark发展至今，已经得到了广泛的认可。Hadoop与Spark可以说是大部分企业级数据平台的主流选择，基于不同的应用场景，结合实际需求，来选择相应的技术架构。今天我们来聊聊Spark运行原理。Spark继承了Hadoop MapReduce的特性，是典型的master/worker架构。这种架构就是把计算任务进行划分，然后进行分配给多个slave，也就是进行map，等slave完成了分配给自己的任务后，然后再master上进行汇总，也就是reudce，这就是MapReduc_spark开发流程
- 链接地址：https://blog.csdn.net/shuimuzh123/article/details/119217128
- 链接标题：大数据开发之Spark运行流程_spark开发流程-CSDN博客
- 所属网站：blog.csdn.net
- 被收藏次数：1160
- 网站标签：spark开发流程
