网站介绍:文章浏览阅读7.2k次,点赞2次,收藏7次。一、动机 Spark为包含键值对类型的RDD提供了一些专有的操作。这些RDD被称为pairRDD。提供并行操作各个节点或跨界点重新进行数据分组的操作接口。 二、创建Pair RDD 1、在sprk中,很多存储键值对的数据在读取时直接返回由其键值对数据组成的pair RDD。 2、可以调用map()函数,将一个普通的RDD转换为pair RDD。 在Scala中,为了提_pairfunction
- 链接地址:https://blog.csdn.net/zhaojw_420/article/details/53381180
- 链接标题:Spark——键值对操作_pairfunction-CSDN博客
- 所属网站:blog.csdn.net
- 被收藏次数:3518
- 网站标签:pairfunction