网站介绍：文章浏览阅读4.3k次，点赞3次，收藏13次。前段时间用sparksession读取MySQL的一个表的时候,出现耗时长,频繁出现oom等情况,去网上查找了一下,是因为用的默认读取jdbc方式,单线程任务重,所以出现耗时长,oom等现象.这时候需要提高读取的并发度.现简单记录下.看sparsession DataFrameReader源码,读取jdbc有三个方法重载.单partition,无并发def jdbc(url: String,..._spark 读写mysql数据量过大
- 链接地址：https://blog.csdn.net/a904364908/article/details/95000018
- 链接标题：spark读取MySQL的方式及并发度优化_spark 读写mysql数据量过大-CSDN博客
- 所属网站：blog.csdn.net
- 被收藏次数：2772
- 网站标签：spark 读写mysql数据量过大
