网站介绍：文章浏览阅读610次。Spark性能优化的10大问题及其解决方案问题1：reduce task数目不合适解决方式：需根据实际情况调节默认配置，调整方式是修改参数spark.default.parallelism。通常，reduce数目设置为core数目的2到3倍。数量太大，造成很多小任务，增加启动任务的开销；数目太少，任务运行缓慢。问题2：shuffle磁盘IO时间长解决方式：_spark 部分shuffle 很慢
- 链接地址：https://blog.csdn.net/wuzhongdehua1/article/details/50886678
- 链接标题：Spark性能优化的10大问题及其解决方案_spark 部分shuffle 很慢-CSDN博客
- 所属网站：blog.csdn.net
- 被收藏次数：7452
- 网站标签：spark 部分shuffle 很慢
