网站介绍:文章浏览阅读1.7k次。1. 关于spark.streaming.concurrent.job参数的问题1)当参数环境:6个executor,kafka topic 有3个partition,spark.streaming.concurrent.job=1 时 则:只有3个exevutor有task在跑,这个比较好理解,一个executor处理一个分区数据2)当参数环境:6个executor,kafka top_spark.streaming.concurrentjob
- 链接地址:https://blog.csdn.net/xwc35047/article/details/78529206
- 链接标题:spark streaming 有趣问题汇总_spark.streaming.concurrentjob-CSDN博客
- 所属网站:blog.csdn.net
- 被收藏次数:8881
- 网站标签:spark.streaming.concurrentjob