SPARK-艾客网

Spark的Standalone模式及案例_spark atandalone 运行spark-examples_Faith_xzc的博客-CSDN博客

文章目录基本概念Standalone模式搭建1.解压缩文件2.修改配置文件启动集群1. 执行脚本命令2. 查看服务运行的进程3. 查看 UI 界面测试Spark中examples案例1. 提交应用2. 结果截图基本概念Spark的local 本地模式毕竟只是用来进行练习演示的......

2023-10-10 03:33 评论 0 阅读

阅读全文

spark非高可用集群搭建（stanalone）_spark standalone 不用hdfs spark_history_opts-CSDN博客

文章浏览阅读268次。一共4个节点,master1,worker1,worker2,worker3配置master1到worker1,worker2,worker3的免密登录Index of /dist/spark这里使用spark-3.1.3-bin-hadoop3.2这个版本wget https://archive.apache.org/dist/spark/spark-3.1.3/spark-3.1.3-bin-hadoop3.2.tgztar -xzvf spark-3.......

2024-01-24 06:19 评论 0 阅读

阅读全文

Spark高阶排序算法_spark 全局排序-CSDN博客

文章浏览阅读1.1k次。第十九课：Spark高级排序算法彻底解密本期内容：1、基础排序算法2、二次排序算法3、更高级排序算法4、排序算法内幕准备：启动Hadoop：./start-dfs.sh启动history：./start-history-server.sh 启动spark：./start-all.sh启动s......

2024-01-22 21:33 评论 0 阅读

阅读全文

大数据之spark学习记录二: Spark的安装与上手_spark start with connect by-CSDN博客

大数据之spark学习记录二: Spark的安装与上手文章目录大数据之spark学习记录二: Spark的安装与上手Spark安装本地模式Standalone 模式基本配置步骤1: 复制 spark, 并命名为spark-standalone步骤2: 进入配置文件目录conf, 配置spark-evn.sh步骤3: 修......

2023-10-10 03:29 评论 0 阅读

阅读全文

Spark调用外部程序_spark外部函数-CSDN博客

文章浏览阅读994次。背景在写spark程序时，也可以调用别的语言写成的外部程序来进行一些运算方法主要方法就是在spark里调用pipe()函数，来指定要执行的文件以及传入的参数。代码如下 // pipe()函数调用外部程序 val cFile = &qu......

2024-01-23 16:01 评论 0 阅读

阅读全文

spark Straming介绍_stming spark-CSDN博客

文章浏览阅读550次。目录1sparkstreaming介绍1.1背景1.2SparkStreaming设计1.3SparkStreaming与Storm的对比现在的事实是--->twitter跳槽过来的同事说，现在他们内部已经不使用storm了，转而使用SparkStreaming，可见SparkStreaming正渐渐成为主流2架构......

2024-01-23 23:00 评论 0 阅读

阅读全文

Spark快速入门系列(5) | Spark环境搭建—standalone(2) 配置历史日志服务器_spark standalone 日志-CSDN博客

大家好，我是不温卜火，是一名计算机学院大数据专业大二的学生，昵称来源于成语—不温不火，本意是希望自己性情温和。作为一名互联网行业的小白，博主写博客一方面是为了记录自己的学习过程，另一方面是总结自己......

2023-10-10 03:35 评论 0 阅读

阅读全文

Spark核心组件、运行架构及RDD创建_spark中的rdd是什么?spark中的核心组件有哪些?-CSDN博客

文章浏览阅读811次。目录Spark核心组件Spark运行架构RDDDAG：有向无环图RDD创建RDD创建方式一：parallelizeRDD创建方式二：makeRDD分区设置textFile创建RDDlinux中创建RDDSpark核心组件在解释Spark架构之前，我们先来了解一下Spark的几个核心组......

2024-01-21 11:46 评论 0 阅读

阅读全文