spark streaming 有趣问题汇总_spark.streaming.concurrentjob-CSDN博客

网站介绍:文章浏览阅读1.7k次。1. 关于spark.streaming.concurrent.job参数的问题1)当参数环境:6个executor,kafka topic 有3个partition,spark.streaming.concurrent.job=1 时 则:只有3个exevutor有task在跑,这个比较好理解,一个executor处理一个分区数据2)当参数环境:6个executor,kafka top_spark.streaming.concurrentjob