网站介绍：文章浏览阅读2.8k次，点赞3次，收藏6次。本文主要收录spark学习和工作中思考的问题。1、当Spark task failed，什么情况下task重计算，什么情况下stage重计算？答：如果task失败是因为shuffle output files lost，则DAGScheduler会对stage重提交计算；如果不是因为shuffle file lost，则选择resubmit task。这是因为shuffle output file_spark spill memory和spill disk
- 链接地址：https://blog.csdn.net/xwc35047/article/details/78636924
- 链接标题：spark 机制原理自问自答_spark spill memory和spill disk-CSDN博客
- 所属网站：blog.csdn.net
- 被收藏次数：3934
- 网站标签：spark spill memory和spill disk
