文章浏览阅读2.4k次,点赞3次,收藏17次。文章目录1.Shuffle的作用是什么?2. Spark中shuffle的运行时机3.Spark目前的ShuffleManage模式及处理机制HashShuffle3.1 HashShuffle3.1.1 shuffle write3.1.2 shuffle read磁盘小文件过多带来的问题?3.2 优化后的Hash......
2024-01-25 06:15 阅读 阅读全文文章浏览阅读2.4k次,点赞3次,收藏17次。文章目录1.Shuffle的作用是什么?2. Spark中shuffle的运行时机3.Spark目前的ShuffleManage模式及处理机制HashShuffle3.1 HashShuffle3.1.1 shuffle write3.1.2 shuffle read磁盘小文件过多带来的问题?3.2 优化后的Hash......
2024-01-25 06:17 阅读 阅读全文文章浏览阅读2.4k次,点赞3次,收藏17次。文章目录1.Shuffle的作用是什么?2. Spark中shuffle的运行时机3.Spark目前的ShuffleManage模式及处理机制HashShuffle3.1 HashShuffle3.1.1 shuffle write3.1.2 shuffle read磁盘小文件过多带来的问题?3.2 优化后的Hash......
2024-01-25 06:17 阅读 阅读全文