Spark中RDD的算子_spark执行算子-CSDN博客

网站介绍:文章浏览阅读1.2k次。1、算子的简单介绍Transformation(转换)算子:根据数据集创建一个新的数据集,计算后返回一个新RDD,例如一个rdd进行map操作后生了一个新的rdd。Action(动作)算子:对rdd结果计算后返回一个数值value给驱动程序(driver),例如collect算子将数据集的所有元素收集完成返回给驱动程序。控制算子:对数据集进行特殊操作,例如cache算子将对于重复使用的算子,进行cache做缓存使用,数据只保存在内存中,性能提升。懒执行:Spark中转化算子和控制算子是懒执行_spark执行算子