Spark——键值对操作_pairfunction-CSDN博客

网站介绍:文章浏览阅读7.2k次,点赞2次,收藏7次。一、动机 Spark为包含键值对类型的RDD提供了一些专有的操作。这些RDD被称为pairRDD。提供并行操作各个节点或跨界点重新进行数据分组的操作接口。 二、创建Pair RDD 1、在sprk中,很多存储键值对的数据在读取时直接返回由其键值对数据组成的pair RDD。 2、可以调用map()函数,将一个普通的RDD转换为pair RDD。 在Scala中,为了提_pairfunction