《Spark官方文档》监控和工具-学习笔记_spark实时监控工具-CSDN博客

网站介绍:文章浏览阅读1.8k次,点赞2次,收藏5次。官网链接:Monitoring and Instrumentation - Spark 3.2.1 Documentation有几种方法可以监控Spark应用程序:Web UI、metrics 以及外部工具。Web UI每个SparkContext都会启动一个web UI,其默认端口为4040,并且这个web UI能展示很多有用的Spark应用相关信息。包括:一个stage和task的调度列表 一个关于RDD大小以及内存占用的概览 运行环境相关信息 运行中的执行器相关信息你只需打_spark实时监控工具