网站介绍:在很多应用场景都需要对结果数据进行排序,Spark中有时也不例外。在Spark中存在两种对RDD进行排序的函数,分别是 sortBy和sortByKey函数。sortBy是对标准的RDD进行排序,它是从Spark 0.9.0之后才引入的(可以参见SPARK-1063)。而sortByKey函数是对PairRDD进行排序,也就是有Key和Value的RDD。下面将分别对这两个函数的实现以及使用进行说明。 一、sortBy函数实现以及使
- 版权声明:本站原创文章,于2024-01-23 19:28,由艾客网发表
- 转载请注明:Spark: sortBy和sortByKey函数详解 – 过往记忆 +复制链接