一、Spark 介绍官网:http://spark.apache.org/1. 什么是 SparkSpark 是一个快速(基于内存), 通用, 可扩展的集群计算引擎 并且 Spark 目前已经成为 Apache 最活跃的开源项目, 有超过 1000 个活跃的贡献者2. Spark历史2009 年,Spark 诞生于 UC Berkeley(......
2023-10-09 22:54 阅读 阅读全文文章浏览阅读3.4k次,点赞2次,收藏8次。实验二 安装Hadoop和Spark_spark和hadoop的安装实验报告...
2024-01-22 21:48 阅读 阅读全文文章浏览阅读195次。第一部分:Scala编程语言第二部分:Spark Core内核(最重要的内容)—> 概念RDD:相当于MapReduce第三部分:Spark SQL:相当于Hive,也支持SQL语句 -----> 底层依赖Spark Core ----> 依赖RDD第四部分:Spark Streaming:......
2024-01-23 01:13 阅读 阅读全文文章浏览阅读3.5w次,点赞10次,收藏91次。Spark作为一个基于内存的开源计算框架,在这个大数据时代背景下,受到越来越多的开发者的喜爱,相对于Hadoop,Spark拥有对大量数据更快的处理速度,并且易于使用(支持多种开发语言......
2024-01-23 22:43 阅读 阅读全文文章浏览阅读336次。注意:在安装spark之前一定要确保自己虚拟机已经安装了jdk,如果没有请看我之前的博客。1.spark资源(自取):https://pan.baidu.com/s/1Kn0-UnZ8AMLiHF4l2YGcLQ提取码:ao3w2.将压缩包上传到Linux系统,并进行解压和安装//......
2024-01-23 22:43 阅读 阅读全文文章浏览阅读1.2k次。1、Spark安装1.1、下载、解压1.2、配置环境变量(/etc/profile或者~/.bashrc),环境变量生效1.3、配置spark-env.shspark-env.sh位于 $SPARK_HOME/confcp spark-env.sh.template spark-env.sh配置如下export JAVA_HOME=/usr/java/latestexport SCALA__b2-......
2024-01-23 06:54 阅读 阅读全文大数据之spark学习记录二: Spark的安装与上手文章目录大数据之spark学习记录二: Spark的安装与上手Spark安装本地模式Standalone 模式基本配置步骤1: 复制 spark, 并命名为spark-standalone步骤2: 进入配置文件目录conf, 配置spark-evn.sh步骤3: 修......
2023-10-10 03:29 阅读 阅读全文