Spark性能调优_spark 读取hdfs 是driver 还是excutor-CSDN博客

网站介绍:文章浏览阅读604次。通常我们对一个系统进行性能优化无怪乎两个步骤——性能监控和参数调整,本文主要分享的也是这两方面内容。性能监控工具【Spark监控工具】Spark提供了一些基本的Web监控页面,对于日常监控十分有用。1. Application Web UIhttp://master:4040(默认端口是4040,可以通过spark.ui.port修改)可获得这些信息:(1)_spark 读取hdfs 是driver 还是excutor