网站介绍:spark中,slice=partition,一个slice对应一个task,启动task的数量上限取决于集群中核的数量sc.parallelize(0until numMappers, numMappers)中的numMappers就是slice的数量[1]下面的图来自[3]在spark调优中,增大RDD分区数目,可以增大任务并行度map(function)map...
- 链接地址:https://yuchi.blog.csdn.net/article/details/88366638
- 链接标题:Spark API 详解(转)-CSDN博客
- 所属网站:yuchi.blog.csdn.net
- 被收藏次数:2664
- 网站标签:Spark API 详解(转)