文章浏览阅读186次。spark中的算子调用：1.aggregateByKey算子def main(args : Array[String]):Unit={ val conf: SparkConf = new SparkConf().setMaster("local").setAppName("aggregateByKey") val sc: SparkContext = new SparkContext(conf) val rdd: RDD[(String, Int)] = sc......

文章浏览阅读119次。spark学习笔记—核心算子(二)distinct算子 def distinct(numPartitions: Int)(implicit ord: Ordering[T] = null): RDD[T] = withScope { def removeDuplicatesInPartition(partition: Iterator......

文章浏览阅读720次。转载：http://lxw1234.com/archives/2015/07/399.htm遇到一个在spark shell上执行foreach什么都不显示的问题。答案在下方：countByKeydef countByKey(): Map[K, Long]countByKey用于统计RDD[K,V]中每个K的数量。scala> var r_foreachrdd是行动算......

文章浏览阅读235次。import Utils.SparkUtilsimport org.apache.spark.SparkContextimport org.apache.spark.rdd.RDDobject SampleDemo { def main(args: Array[String]): Unit = { val sc: SparkContext = SparkUtils.getSparkContext() val rdd: RDD[Int] =sc.makeRDD(List(1,2,3_spark sample takesample...

文章浏览阅读116次。1：Zip算子def zip[U](other: RDD[U])(implicit arg0: ClassTag[U]): RDD[(T, U)]将两个RDD做zip操作，如果当两个RDD分区数目不一样的话或每一个分区数目不一样的话则会异常。例如：val rdd1 = sc.parallelize(Array(1,2,3,4,5,6),2)val rdd2 = s......

文章浏览阅读187次。一、二、案例：详见代码。针对案例提出的6个问题：假设要针对整个网站的历史数据进行处理, 量有 1T, 如何处理?放在集群中, 利用集群多台计算机来并行处理如何放在集群中运行?简单来讲, 并行计算就是同......

文章浏览阅读115次。一、二、案例：详见代码。针对案例提出的6个问题：假设要针对整个网站的历史数据进行处理, 量有 1T, 如何处理?放在集群中, 利用集群多台计算机来并行处理如何放在集群中运行?简单来讲, 并行计算就是同......

文章浏览阅读430次。 缓存的作用, 避免行动算子导致之前的转换算子重复计算(尤其是之前的转换算子中存在副作用) SparkCache的几点思考https://blog.csdn.net/qq_27639777/article/details/82319560 ..._spark dataframe缓存起来,不用重复计算...

文章浏览阅读2k次。一、Spark基础知识二、Scala环境搭建1、部署本地SCALA（1）官网下载2.12.15版本链接：Scala 2.12.15 | The Scala Programming Language（2）配置环境变量（3）cmd 检查一下本地 Scala部署完成2、部署服务器Scala（1）复制下载链......

文章浏览阅读277次。Spark 算子调优一、mapPartitions二、foreachPartition 优化数据库操作三、filter 与 coalesce 的配合使用四、repartition 解决 SparkSQL 低并行度问题五、reduceByKey 本地聚合一、mapPartitions普通的 map 算子对 RDD 中的每一个元素......