网站介绍：文章浏览阅读114次。Spark的优化（1）最优资源配置①增加Executor个数，在资源允许的情况下，增加Executor个数可以提高task并行度。比如有4个Executor，每个Executor有2个core，那么可以并行执行8个task。–num-executors②增加每个Executor的CPUcore数，–executor-cores③增加每个Executor的内存，可以缓存更多数据，可以为shuffle提供更多内存，可以为task执行提供更多内存–executor-memory（2）RDD优化①_spark amd 平台调优
- 链接地址：https://blog.csdn.net/qq_43523503/article/details/115284151
- 链接标题：Spark性能调优_spark amd 平台调优-CSDN博客
- 所属网站：blog.csdn.net
- 被收藏次数：1750
- 网站标签：spark amd 平台调优
