网站介绍:文章浏览阅读604次。通常我们对一个系统进行性能优化无怪乎两个步骤——性能监控和参数调整,本文主要分享的也是这两方面内容。性能监控工具【Spark监控工具】Spark提供了一些基本的Web监控页面,对于日常监控十分有用。1. Application Web UIhttp://master:4040(默认端口是4040,可以通过spark.ui.port修改)可获得这些信息:(1)_spark 读取hdfs 是driver 还是excutor
- 链接地址:https://blog.csdn.net/wuzhongdehua1/article/details/50848852
- 链接标题:Spark性能调优_spark 读取hdfs 是driver 还是excutor-CSDN博客
- 所属网站:blog.csdn.net
- 被收藏次数:5135
- 网站标签:spark 读取hdfs 是driver 还是excutor