文章浏览阅读3.3k次。Spark WEBUI 【Jobs,Stages,StorageLevel,Environment,Executors,SQL,Streaming 】 4040端口可以看到当前application中的所有的job,点击job可以看到当前job下对应的stage,点击stage出现stage下的task。上传文件:hdfs dfs -put /root/te......
2024-01-24 05:46 阅读 阅读全文文章浏览阅读326次。Spark Streaming中的Window(窗口)操作窗口函数WindowcountByWindowcountByValueAndWindowreduceByWindow窗口函数窗口函数,就是在DStream流上,以一个可配置的长度为窗口,以一个可配置的速率向前移动窗口,根据窗口函数的......
2024-01-22 14:08 阅读 阅读全文文章浏览阅读170次。 Spark Streaming 是 Spark Core API 的扩展,它支持弹性的,高吞吐的,容错的实时数据流的处理。数据可以通过多种数据源获取,例如 Kafka,Flume,Kinesis 以及 TCP sockets,也可以通过例如 map,reduce,join,window 等......
2024-01-24 07:04 阅读 阅读全文文章浏览阅读336次。spark2.4.4、hadoop3.4.4_spark history 配置本地目录读取...
2024-01-24 05:47 阅读 阅读全文文章浏览阅读1k次,点赞4次,收藏9次。Spark部署在Yarn集群_spark集群的部署 yarn...
2024-01-24 07:16 阅读 阅读全文文章浏览阅读281次。一、官网介绍1 什么是Spark官网地址:http://spark.apache.org/Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并......
2024-01-22 14:28 阅读 阅读全文文章浏览阅读281次。点击打开链接链接:http://spark.apache.org/docs/latest/api/scala/index.html#org.apache.spark.sql.Dataset_spark docs api...
2024-01-24 08:19 阅读 阅读全文文章浏览阅读7.2k次。Spark学习笔记1:Spark2.2快速入门1.1 Spark本地模式学习Spark,先易后难,先从最简单的本地模式学起。本地模式(local),常用于本地开发测试,解压缩Spark软件包就可以用,也就是所谓的“开封即用”1.2 安装JD......
2024-01-24 09:43 阅读 阅读全文文章浏览阅读935次。http://doris.apache.org/master/zh-CN/extending-doris/spark-doris-connector.html#%E7%89%88%E6%9C%AC%E5%85%BC%E5%AE%B9import org.apache.doris.spark._val dorisSparkRDD = sc.dorisRDD( tableIdentifier = Some("$YOUR_DORIS_DATABASE_NAME.$YOUR_DORIS_TABLE_NAM_spark连接dori......
2024-01-24 09:47 阅读 阅读全文文章浏览阅读394次。Spark原理目录:一、总体介绍1.1 Spark集群组成1.2 逻辑执行图1.3 物理执行图二、逻辑执行图2.1 明确逻辑计划的边界2.2 RDD的生成2.3 RDD之间的依赖关系2.4 RDD之间的依赖关系 — 宽、窄依赖 2.5 窄依赖的类别三、物......
2024-01-24 00:40 阅读 阅读全文