网站介绍:文章浏览阅读136次。日常用到的spark调优1.如果使用spark读取mysql中的表格写进数仓中,可以先将限制条件或者整个sql先写进jdbc连接参数中。如果是将mysql整个表读入内存中再建立临时表,如果mysql的表过大,反而会占用更多内存,所以可以提前先将结果的数据读进来直接write进数仓中。val callmysql = s" select '会议' as module,'正常通话率' as metrics_type,'ads_voip_sample' as original_table,avg(metr_spark write repartition
- 链接地址:https://blog.csdn.net/reddy_Hu/article/details/110632125
- 链接标题:日常用到的spark调优_spark write repartition-CSDN博客
- 所属网站:blog.csdn.net
- 被收藏次数:7469
- 网站标签:spark write repartition