Spark Streaming 中管理 Kafka Offsets 的几种方式_spark streaming的将offset存入checkpoint中-CSDN博客

网站介绍:文章浏览阅读293次。Offset管理概述Spark Streaming集成了Kafka允许用户从Kafka中读取一个或者多个topic的数据。一个Kafka topic包含多个存储消息的分区(partition)。每个分区中的消息是顺序存储,并且用offset(可以认为是位置)来标记消息。开发者可以在他的Spark Streaming应用中通过offset来控制数据的读取位置,但是这需要好的offset的管理机制。O..._spark streaming的将offset存入checkpoint中