网站介绍:文章浏览阅读489次。Spark可以将RDD持久化到内存或者磁盘,持久化到内存可以极大的提高迭代计算以及计算模型之间的数据共享,一般情况下,执行节点60%内存用于缓存数据,剩下40%用于运行任务。Spark使用persist、cache进行操作持久化,其中cache是persist的特例。cache():RDD[T] persist():RDD[T] persist(level:StorageLevel):RD..._scala rdd操作大全
- 链接地址:https://shenchunxu.blog.csdn.net/article/details/101180731
- 链接标题:[scala-spark]11. RDD控制操作_scala rdd操作大全-CSDN博客
- 所属网站:shenchunxu.blog.csdn.net
- 被收藏次数:8161
- 网站标签:scala rdd操作大全