网站介绍：文章浏览阅读589次。CheckPoint原理：1.对于一个复杂的RDD chain，如果中间某些关键的，在后面会多次使用的RDD因节点故障导致持久化数据丢失，可以针对该RDD启动checkpoint机制，实现容错和高可用。2.checkpoint，先调用SparkContext的setCheckpointDir()方法，设置一个容错的文件系统目录。3.对RDD调用checkpoint()方法后，在RDD所处的job运..._spark checkpoint原理
- 链接地址：https://blog.csdn.net/ymcz1987/article/details/79543715
- 链接标题：spark学习-CheckPoint原理_spark checkpoint原理-CSDN博客
- 所属网站：blog.csdn.net
- 被收藏次数：2752
- 网站标签：spark checkpoint原理
