网站介绍：文章浏览阅读4.2k次。本文主要简述spark checkpoint机制，快速把握checkpoint机制的来龙去脉，关于源码方面可以看参考文章。1、Spark core的checkpoint1）为什么checkpoint？分布式计算中难免因为网络，存储等原因出现计算失败的情况，RDD中的lineage信息常用来在task失败后重计算使用，为了防止计算失败后从头开始计算造成的大量开销，RDD会chec..._spark的checkpoint
- 链接地址：https://blog.csdn.net/xwc35047/article/details/78426770
- 链接标题：spark checkpoint机制简述_spark的checkpoint-CSDN博客
- 所属网站：blog.csdn.net
- 被收藏次数：4698
- 网站标签：spark的checkpoint
