文章浏览阅读703次。在安装Spark本地模式时出现了:java.net.UnknowHostException: yx: yx: 域名解析暂时失败。配置一下域名即可_spark unknown host exception...
2024-01-23 13:20 阅读 阅读全文文章浏览阅读6.8k次。今天在mac上装hadoop,发现提示权限不足问题,错误提示如下解决方法:输入命令:sudo chown -R $(whoami):admin /usr/local_the location is not writable...
2024-01-22 19:52 阅读 阅读全文文章浏览阅读1.1w次。C盘垃圾深度清理如果想要深度清理C盘,除了删除一些临时文件,还可以删除“以前的Windows安装”或者“Windows 更新清理”,占用特别大的一般为几百兆到几个G不等。若是以后不需要回退到Windows更新前的版......
2023-11-11 17:21 阅读 阅读全文文章浏览阅读2.9k次。spark-submit --deploy-mode cluster --executor-memory 4G --executor-cores 4 --conf spark.executor.memoryOverhead=1000 --conf spark.hadoop.mapreduce.fileoutputcommitter.algorithm.version=2 --conf spark..._cluster deploy mode is not compatible with master "local...
2024-01-24 05:07 阅读 阅读全文文章浏览阅读1.7k次,点赞2次,收藏3次。问题:SparkStreaming接收不到数据,并未报Error错误,打印如下信息:20/05/06 01:18:29 INFO memory.MemoryStore: Block input-0-1588699109200 stored as values in memory (estimated size 32.0 B, free 1994.9 MB)20/05/06 01:18:29 .........
2024-01-24 00:08 阅读 阅读全文一.很多应用都安装在/usr/local下面,那么,这些应用为什么选择这个目录呢?理解了最根源的原因后,也许对你理解linux组织文件的方式有更直观的理解。答案是:Automake工具定义了下面的一组变量:Directory variable Default valueprefix......
2023-10-14 02:05 阅读 阅读全文文章浏览阅读132次。Linux引导过程首先说明一下,这里讲的是Linux引导经过的步骤,而不涉及KERNEL引导过程的内部细节。希望本文能对初学Linux的朋友有所帮助。一、从BIOS到KERNEL计算机在接通电源之后首先由BIOS进行自检,即进行......
2024-01-24 00:36 阅读 阅读全文linux上安装mysql5.7:1、下载tar包,这里使用wget从官网下载wgethttps://dev.mysql.com/get/Downloads/MySQL-5.7/mysql-5.7.22-linux-glibc2.12-x86_64.tar.gz2、将mysql安装到/usr/local/mysql下# 解压tar -xvfmysql-5.7.22-lin..._child process: /usr/local/libexec/mysqldterminated prematur......
2023-10-14 07:35 阅读 阅读全文Spark每个任务输出一次日志文件版本信息:spark-2.4.3hadoop-2.6.4前些天在解决spark local模式的日志输出问题,需要每次执行一次spark作业就把该次作业的日志输出到一个日志文件中,这里记录下,分享下实现过程以及踩的坑;先自定义......
2023-10-10 03:31 阅读 阅读全文文章浏览阅读517次。慕课笔记一、大数据简史,从hadoop到Spark1.hadoop的出现:(1)问题:1990年,电商爆发以及机器产生了大量数据,单一的系统无法承担(2)办法:为了解决(1)的问题许多公司,尤其是大公司领导了普通硬件集......
2024-01-23 23:51 阅读 阅读全文