网站介绍：文章浏览阅读3.2k次，点赞2次，收藏17次。Hive优化一、Hive任务创建文件数优化1.1 Map端文件合并减少Map任务数量一般来说，HDFS的默认文件块大小是128M，如果在Hive执行任务时，发现Map端的任务过多，且执行时间多数不超过一分钟，建议通过参数，划分(split)文件的大小，合并小文件。如：set hive.input.format=org.apache.hadoop.hive.ql.io.CombineHiveInputFormat;set mapreduce.input.fileinputformat.split.m_mapreduce.input.fileinputformat.split.minsize.per.node
- 链接地址：https://blog.csdn.net/qq_33689414/article/details/108699593
- 链接标题：Hive之MapReduce性能优化_mapreduce.input.fileinputformat.split.minsize.per.-CSDN博客
- 所属网站：blog.csdn.net
- 被收藏次数：111
- 网站标签：mapreduce.input.fileinputformat.split.minsize.per.node
