文章浏览阅读290次。一、准备1、系统:ubuntu2、 安装包:Spark2.3.3+Java8+Scala2.11二、步骤1、官网下载Spark 安装包spark-2.3.3-bin-hadoop2.7.tgz2、官网下载scala安装包scala-2.11.12.tgz3、官网下载JDK安装包jdk-8u201-linux-x64.tar.gz4、Spark相关配置4.1......
2024-01-23 22:52 阅读 阅读全文文章浏览阅读174次。配置hive-site.xml<property> <name>hive.server2.thrift.port</name> <value>10000</value></property><property> <name>hive.server2.thrift.bind.host</name> <value>bigdata-pro03.kfk.com_$ ./bin/hive --serv......
2024-01-24 04:58 阅读 阅读全文文章浏览阅读172次。 前期博客 Spark运行模式概述Spark standalone简介与运行wordcount(master、slave1和slave2) 开篇要明白 (1)spark-env.sh 是环境变量配置文件 (2)spark-defaults.conf (3)slaves 是从节点机器配置文件 ......
2024-01-24 06:19 阅读 阅读全文文章浏览阅读1.7k次。Hadoop2.7.4集群安装说明Hadoop运行在Java虚拟机上,需要安装JDK,参见Linux下安装JDK8本次搭建的Hadoop集群没有HA配置。集群节点分布信息hdfs namenode node1hdfs secondary node1hdfs datanode node1hdfs datanode node2hdfs datanode node3yar......
2024-01-24 06:48 阅读 阅读全文文章浏览阅读743次。1、解压文件解压spark压缩文件到/export/server/目录下(我的是:spark-3.2.0-bin-hadoop3.2.tgz)(pyspark) [root@node1 export]# tar -zxvf spark-3.2.0-bin-hadoop3.2.tgz -C /export/server/2、配置软连接(也可以不配置,配置是为了输入这个文件夹......
2024-01-24 00:35 阅读 阅读全文文章浏览阅读2.8k次。前言kafka集群搭建需要在已经安装JavaJDK和Zookeeper的基础上。如未安装JDK和Zookeeper,请参考如下博客:JDK安装:https://blog.csdn.net/lichenglong33/article/details/99636768Zookeeper集群安装 :https://blog.csdn.net/lichenglong33/articl.......
2024-01-24 04:35 阅读 阅读全文文章目录命令介绍常用选项参考示例设置用户默认使用的shell类型限定用户不能 shell 登录,只能 ftp修改用户的主目录更改用户的名称锁定用户的密码解锁用户的密码将用户添加到指定用户组命令介绍usermod 命令用于修改用户的基......
2023-10-14 11:21 阅读 阅读全文