文章浏览阅读2k次，点赞2次，收藏4次。系列文章：第一章 Hadoop集群搭建的准备第二章 Hadoop集群搭建第三章 Zookeeper分布式集群部署（2n+1台虚拟机）第四章 Hadoop高可用集群搭建（HA）待更新文章目录修改配置文件（先进入spark-3.1.......

文章浏览阅读2k次，点赞2次，收藏4次。系列文章：第一章 Hadoop集群搭建的准备第二章 Hadoop集群搭建第三章 Zookeeper分布式集群部署（2n+1台虚拟机）第四章 Hadoop高可用集群搭建（HA）待更新文章目录修改配置文件（先进入spark-3.1.......

文章浏览阅读2k次，点赞2次，收藏4次。系列文章：第一章 Hadoop集群搭建的准备第二章 Hadoop集群搭建第三章 Zookeeper分布式集群部署（2n+1台虚拟机）第四章 Hadoop高可用集群搭建（HA）待更新文章目录修改配置文件（先进入spark-3.1.......

文章浏览阅读822次。可以使用历史日志服务器查看以前的job执行日志临时配置，对本次提交的应用程序起作用：./spark-shell --master spark://node1:7077--name myapp1--conf spark.eventLog.enabled=true--conf spark.eventLog.dir=hdfs://node1:9000/spark/test停止程......

一、配置历史服务器1. 上一篇说到 Standalone集群模式时候 客户端看不到信息， driver:8081 虽然能看到日志和结果，但是体验非常差2. spark-shell 本身就是客户端模式，这个是改不了为 cluster 模式， 并且运行时候日志打印是有，但是......

文章浏览阅读464次。1) 修改spark-defaults.conf.template文件名为spark-defaults.conf2) 修改spark-default.conf文件，配置日志存储路径注意：需要启动hadoop集群，HDFS上的directory目录需要提前存在。3) 修改spark-env.sh文件, 添加日志配置参数1......

文章浏览阅读2.2k次，点赞3次，收藏2次。为什么要配置历史服务器DriverProgram:客户端；提交一个应用程序（application）以后，再提交一次，就无法查看之前的提交信息了；使用历史服务器就可以具体配置过程如下：现有客户机（cl......

  大家好，我是不温卜火，是一名计算机学院大数据专业大二的学生，昵称来源于成语—不温不火，本意是希望自己性情温和。作为一名互联网行业的小白，博主写博客一方面是为了记录自己的学习过程，另一方面是总结自己......

文章浏览阅读3.3k次。Spark WEBUI 【Jobs,Stages,StorageLevel,Environment,Executors,SQL,Streaming 】 4040端口可以看到当前application中的所有的job,点击job可以看到当前job下对应的stage,点击stage出现stage下的task。上传文件：hdfs dfs -put /root/te......

文章浏览阅读5.3k次，点赞46次，收藏2次。  大家好，我是不温卜火，是一名计算机学院大数据专业大二的学生，昵称来源于成语—不温不火，本意是希望自己性情温和。作为一名互联网行业的小白，博主写博客一方面是为了......