网站介绍：文章浏览阅读1.1k次。spark.shuffle.file.buffer 默认值是32kmap side task的内存buffer大小，写数据到磁盘文件之前，会先保存在缓冲中，如果内存充足，可以适当加大，从而减少map side磁盘IO次数，提升性能spark.reducer.maxSizeInFlight 默认值是48mreduce task的buffer缓冲，代表了每个reduce task每次能够拉..._spark.unsafe.sorter.spill.read.ahead.enabled
- 链接地址：https://zhy0810.blog.csdn.net/article/details/87894985
- 链接标题：spark调优的几种方法_spark.unsafe.sorter.spill.read.ahead.enabled-CSDN博客
- 所属网站：zhy0810.blog.csdn.net
- 被收藏次数：5016
- 网站标签：spark.unsafe.sorter.spill.read.ahead.enabled
