文章浏览阅读4.6k次。Job :是一个比task 和 stage 更大的逻辑概念,job 可以认为是我们在driver 或是通过spark-submit 提交的程序中一个action ,在我们的程序中有很多action 所有也就对应很多的jobsStage: 是spark 中一个非常重要的概念 ......
2024-01-23 06:49 阅读 阅读全文文章浏览阅读605次。目录 《RDD的依赖关系》一、RDD的Job划分二、RRD的Job生成和提交的四给阶段三、Stage的划分四、Task划分五、WebUI中查看Stage和TaskStage的划分那么要想清楚RDD的依赖关系,可点击下面了解 《RDD的依赖关系》窄依赖......
2024-01-21 12:50 阅读 阅读全文文章浏览阅读1.4k次。这里是我自己总结的简单的描述:Configuration conf = new Configuration();// conf.set("mapreduce.framework.name", "yarn");// conf.set("yarn.resoucemanager.hostname", "hadoop"); Job job = Job.getInstance(conf);_mr对......
2024-01-24 00:35 阅读 阅读全文