大数据—— Spark 优化_spark cores一般设置多少个-CSDN博客

网站介绍:文章浏览阅读1.6k次,点赞29次,收藏28次。文章目录1 Spark参数优化1.1 num-executors1.2 executor-memory1.3 executor-cores1.4 driver-memory1.5 spark.default.parallelism1.6 spark.shuffle.memoryFraction1.7 spark.storage.memoryFraction1.8 资源参考示例2 RDD优化2.1 RDD 复用2.2 RDD 持久化2.3 RDD 过滤3 算子优化4 Shuffle优化5 数据倾斜优化5.1 _spark cores一般设置多少个