Spark运维中遇到的问题_uncaught exception in thread shutdown-hook-0-CSDN博客

网站介绍:文章浏览阅读3k次。查了一下应该是log的jar包冲突 把hive-jdbc-2.1.1-cdh6.3.2-standalone.jar 这个jar包换了个名字 再运行spark-shell 就可以了。以上提交参数中的--num-executors 40没有生效,executors 大于40并且占满yarn资源,导致后来的yarn任务阻塞。因为spark-shell作为一个与用户交互的命令行,必须将Driver运行在本地,而不是yarn上。其中的参数与提交Spark应用程序到yarn上用法一样。运行成功进入交互页面。_uncaught exception in thread shutdown-hook-0