文章浏览阅读2.1w次，点赞6次，收藏4次。Spark 累加器_spark 累加器有什么作用,怎么写,有啥参数...

文章浏览阅读101次。Spark 运行架构1 运行架构Spark 框架的核心是一个计算引擎，整体来说，它采用了标准 master-slave 的结构。如下图所示，它展示了一个 Spark 执行时的基本结构。图形中的 Driver 表示 master，负责管理整个集群中的......

文章浏览阅读224次。By云端上的男人—DT大数据梦工厂笔者学习Spark有一段时间，在这些个学习过程中，有酸甜苦辣可谓自己体会。接下来我会把我对与Spark的学习心得和大家共同分享一下。以便于大家少走一些弯路。而且在讲解S......

文章浏览阅读6.1k次，点赞2次，收藏4次。【spark】控制日志输出的方法_spark控制日志输出内容的方式有几种...

文章浏览阅读1k次。Spark是什么？用Spark进行数据分析1什么是Apache Spark？Apache Spark是一个为速度和通用目标设计的集群计算平台。从速度的角度看，Spark从流行的MapReduce模型继承而来，可以更有效地支持多种类型的计算，如交互式......

文章浏览阅读2.4k次。Spark3.1.2 on k8s配置日志存储路径：spark-defaults.conf使用的Hadoop版本是2.7.3 HDFS端口号9000192.168.x.x是Hadoop的namenode节点IP地址18080是默认的历史日志的端口号spark.yarn.historyServer.address=192.168.x.x:18080spark.history.ui.port=1808......

文章浏览阅读4.9k次。 搭建和使用最新版的Spark3.2.0，在版本上踩了很多坑，特此记录一下，避免后来者犯错。首先看下图，即官网下载Spark的版本选择上的红框介绍： 这里介绍了Spark3用的是Scala2.12，Spark3.2+用的是Scala2.......

一、 map：返回一个新的 RDD, 该 RDD 是由原 RDD 的每个元素经过函数转换后的值组成，就是对 RDD 中的数据做转换def main......

文章浏览阅读1w次。spark streaming写入hdfs场景： 需要将数据写入hdfs，打包成一个gz包， 每5分钟执行一次spark任务。最终的结果如下：5分钟跑一次spark， 将数据写入hdfs， 会产生很多的小文件。spark代码val hadoopConf: Configuration = rdd.co......

文章浏览阅读363次。来源 | Learning Spark Lightning-Fast Data Analytics，Second Edition作者 | Damji，et al.翻译 | 吴邪 大数据4..._apache spark api文档...