Kafka结合Spark-streaming 的两种连接方式(AWL与直连)_kafka和spark连接直连串联并连-CSDN博客

网站介绍:文章浏览阅读1.3w次,点赞4次,收藏46次。kafka结合spark-streaming的用法及说明之前博客有些,这里就不赘述了。这篇文章说下他们结合使用的两种连接方式。(AWL与直连)先看一张图:这是kafka与streaming结合的基本方式,如图spark集群中的 worker节点中 exeutor线程里的 receiver接口会一直消费kafka中的数据,那么问题来了,假如我们定义5秒消费一次,如果spark集群定义了每..._kafka和spark连接直连串联并连