spark内核揭秘-spark任务调度系统个人理解_spark调度系统-CSDN博客

网站介绍:文章浏览阅读335次。文章目录前置知识专业术语1. 与任务相关2. 与资源、集群相关联系(待改正)RDD的依赖关系1. 窄依赖2. 宽依赖3. 宽窄依赖的作用形成一个DAG有向无环图需要从final RDD从后往前回溯,为什么?为什么将一个个Job切成一个个stage?task为什么是pipeline的计算模式RDD存储的内容前置知识专业术语1. 与任务相关Application:用户写的应用程序job:一..._spark调度系统