网站介绍:文章浏览阅读1.6k次,点赞29次,收藏28次。文章目录1 Spark参数优化1.1 num-executors1.2 executor-memory1.3 executor-cores1.4 driver-memory1.5 spark.default.parallelism1.6 spark.shuffle.memoryFraction1.7 spark.storage.memoryFraction1.8 资源参考示例2 RDD优化2.1 RDD 复用2.2 RDD 持久化2.3 RDD 过滤3 算子优化4 Shuffle优化5 数据倾斜优化5.1 _spark cores一般设置多少个
- 链接地址:https://blog.csdn.net/sweet19920711/article/details/120374582
- 链接标题:大数据—— Spark 优化_spark cores一般设置多少个-CSDN博客
- 所属网站:blog.csdn.net
- 被收藏次数:8717
- 网站标签:spark cores一般设置多少个