网站介绍:文章浏览阅读298次。Spark性能调优——基础篇一、前言二、调优概述三、开发调优1.原则一:避免创建重复的RDD2.原则二:尽可能复用同一个RDD3.原则三:对多次使用的RDD进行持久化4. 原则四:尽量避免使用shuffle类算子5.原则五:使用map-side预聚合的shuffle操作(算子)6.使用高性能的算子7.原则七:广播大变量8.原则八:使用Kryo优化序列化性能原则九:优化数据结构四、资源调优1.num-executors2.executor-memory3.executor-cores4.driver-memo_spark作调优中下说法正确的是
- 链接地址:https://blog.csdn.net/lightupworld/article/details/108489732
- 链接标题:Spark指南——第六章:Spark性能调优——基础篇(1)_spark作调优中下说法正确的是-CSDN博客
- 所属网站:blog.csdn.net
- 被收藏次数:776
- 网站标签:spark作调优中下说法正确的是