文章浏览阅读1.2k次，点赞3次，收藏6次。Spark安装配置文章目录Spark安装配置2.1 Spark安装2.2 本地模式2.3 伪分布式2.4 集群模式--Standalone模式2.4.1 Standalone 配置2.4.2 运行模式(cluster / client)2.1 Spark安装官网地址：http://spark.apache.org/文档......

文章浏览阅读4.5k次，点赞2次，收藏15次。本文针对在YARN上运行Spark的常用配置参数进行讲解1. 在yarn上启动spark application确保HADOOP_CONF_DIR或YARN_CONF_DIR指向包含Hadoop集群(客户端)配置文件的目录。这些configs用于写入HDFS并连接YARN Reso......

文章浏览阅读1k次。一、搭建Linux虚拟机 1. 配置：2核、2G内存、20G硬盘、CentOS7系统（CentOS-7-x86_64-DVD-1511.iso，最小化安装） 2. 网络： 二、对虚拟主机进行基本设置 1. 网络配置 ip addr 查看网卡信息 更......

文章浏览阅读177次。环境装备192.168.16.6 master192.168.16.4 slave1192.168.16.5 slave2spark安装在Master机器，上传spark安装包spark-2.4.3-bin-hadoop2.7.tgz，并将其解压到/home/spark目录下（根据实际情况定）。#上传[root@master software]# rz -y#解压[..._完成s......

文章浏览阅读1.6k次。在安装好spark后修改spark-env.sh 若没有 将模板文件改名为此名称在spark安装目录下的conf找到spark-env.sh添加HADOOP_HOME和HADOOP_CONF_DIR让其加载yarn-site.xml文件配置修改spark-defaults.conf同在conf文件夹下找到spark-defaults.co......

文章浏览阅读1.5k次。1、python操作hbase1.1 配置 0.启动hbase集群 如果时钟不同步，采用下面的方式进行同步处理。$>su root$>xcall.sh "ntpdate asia.pool.ntp.org"1.启动hbase的thriftserver，满足和第三方应用通信。$>hbase-......

文章浏览阅读422次。文章目录前言1.配置前提2.配置开始结束语前言Intellij IDEA是一个蛮不错的IDE，在java/scala领域深得人心。笔者之前使用的是Eclipse那一套开发环境，虽然也不错，但忍不住好奇心的驱使，折腾了一下IDEA，将自己......

一、配置历史服务器1. 上一篇说到 Standalone集群模式时候 客户端看不到信息， driver:8081 虽然能看到日志和结果，但是体验非常差2. spark-shell 本身就是客户端模式，这个是改不了为 cluster 模式， 并且运行时候日志打印是有，但是......

文章浏览阅读719次。1、本地local模式启动SparkSession我写了个脚本做使用本地local模式启动SparkSession，想做个简单的代码测试，如下：//in scalapackage com.Toby.Gaoimport org.apache.spark.sql.SparkSessionobject Test { def main(args:Array[String]){ val spark......

文章浏览阅读628次。1、Shuffle优化配置 - spark.shuffle.file.buffer默认值：32k参数说明：该参数用于设置shuffle write task的BufferedOutputStream的buffer缓冲大小。将数据写到磁盘文件之前，会先写入buffer缓冲中，待缓冲写满之后，才会溢写到......