Spark基础API(cogroup)_spark cogroup函数-CSDN博客

网站介绍:文章浏览阅读1k次。cogroup函数是一个操作两个RDD的函数,且每个RDD是一个key-value类型;它可以把按照两个RDD的key进行分组,分组的结构是:元组第一个元素是一个key第二个元素是一个列表,其中第一个元素是RDD1的元素,第二个元素是RDD2的元素val pairRDD = sc.parallelize[(Int, Int)](Seq((1, 2), (3, 4), (3, 6), (5, 6))..._spark cogroup函数