文章浏览阅读503次。一、 安装Scala1、 确保Java安装成功[hadoop@spark01-61cdh scala-2.10.4]$ java -versionjava version "1.7.0_111"[hadoop@spark01-61cdh scala-2.10.4]$ echo $JAVA_HOME/opt/modules/jdk1.7.0_62、 解压scala-2.10_安装 scala bash: scala: command not found...
2024-01-22 22:24 阅读 阅读全文文章浏览阅读605次。Scala学习伊始为什么是Scala网课环境电脑环境安装IDEA插件安装IDEA关联Scala源码基础部分文档注释和生成字符串的三种输出变量和常量数据类型数据类型体系图小结具体数据类型伊始为什么是Scala毕业设计所逼......
2024-01-23 01:05 阅读 阅读全文文章浏览阅读1.3k次,点赞6次,收藏5次。1. Spark的内存模型1.1 Execution 内存和 Storage 内存动态调整1.2 Task 之间内存分布2. Execution内存解析_程序运行时每个executor上的storage内存和execution内存多少,6.3g,14.7g...
2024-01-23 15:28 阅读 阅读全文文章浏览阅读5.2k次,点赞9次,收藏33次。由于数据量巨大,单机无法存储,所以我们需要将用很多台机器存储数据,HDFS(Hadoop Distributed FileSystem)就应用而生,它是专门负责管理这么多台单机之间的数据,你存取数据都是和单机一......
2024-01-22 21:35 阅读 阅读全文文章浏览阅读347次。系列文章目录提示:这里可以添加系列文章的所有文章的目录,目录需要自己手动添加例如:第一章 Python 机器学习入门之pandas的使用提示:写完文章后,目录可以自动生成,如何生成可参考右边的帮助文档......
2024-01-24 00:15 阅读 阅读全文文章浏览阅读743次。1、解压文件解压spark压缩文件到/export/server/目录下(我的是:spark-3.2.0-bin-hadoop3.2.tgz)(pyspark) [root@node1 export]# tar -zxvf spark-3.2.0-bin-hadoop3.2.tgz -C /export/server/2、配置软连接(也可以不配置,配置是为了输入这个文件夹......
2024-01-24 00:35 阅读 阅读全文文章浏览阅读1.3k次。在spark集群上运行一个shell脚本,出现错误:出现这个问题的原因是shell脚本中没有指定主资源,这是因为我在shell脚本中有多个jar包,但都用来作为依赖资源而没有指定主资源。类似运行如下的指令会出现这......
2024-01-24 05:30 阅读 阅读全文文章浏览阅读2.3k次。#!/bin/bashsystime=`date -d "-24 hour" +%Y%m-%d-%H-%M`ym=`echo ${systime} | awk -F '-' '{print $1}'`d=`echo ${systime} | awk -F '-' '{print $2}'`h=`echo ${systime} | awk -F '-' '{print $3}'`syst..._yarn.client: verifying our application has not requested more th......
2024-01-25 06:44 阅读 阅读全文文章浏览阅读4.3k次,点赞4次,收藏8次。问题描述今天在回顾spark配置的时候,按照课本进行,测试spark 运行,但是在运行bin/run-example SparkPi 的时候出现以下问题Exception in thread "main" java.net.BindException: 无法指定被请求的地......
2023-11-12 01:34 阅读 阅读全文文章浏览阅读2.4k次。一: 问题描述:CDH 5.14部署好spark2后,写了个WC统计程序,并写了如下执行语句:$SPARK_HOME/bin/spark2-submit \--master local[2] \--class com.weizonggui.core03.SparkContextApp \--name WCApp \/home/hadoop/G5-Spark-1.0.jar \hdfs..._java.net.unknow......
2024-01-23 05:05 阅读 阅读全文