网站介绍：文章浏览阅读406次。文章目录Spark调优代码调优参数调优参数调优模板数据倾斜调优Spark调优代码调优1.避免创建重复的RDD2.尽可能复用同一个RDD3.对多次使用的RDD进行持久化持久化策略选择：默认情况:MEMORY_ONLY（性能最高，前提内存足够，实际生产环境中也不可能把所有的内存提供给你进行持久化，数据量一大就会导致JVM的OOM（out-of-memory:内存溢出）若使用MEMORY_ONLY发生内存溢出，建议尝试MEMORY_ONLY_SER级别，降低了内存占用，比MEMORY_ONLY多_spark 执行计划调优代码
- 链接地址：https://blog.csdn.net/qq_43278189/article/details/121364538
- 链接标题：Spark调优总结（代码，参数，数据倾斜调优）_spark 执行计划调优代码-CSDN博客
- 所属网站：blog.csdn.net
- 被收藏次数：2313
- 网站标签：spark 执行计划调优代码
