网站介绍:文章浏览阅读293次。Offset管理概述Spark Streaming集成了Kafka允许用户从Kafka中读取一个或者多个topic的数据。一个Kafka topic包含多个存储消息的分区(partition)。每个分区中的消息是顺序存储,并且用offset(可以认为是位置)来标记消息。开发者可以在他的Spark Streaming应用中通过offset来控制数据的读取位置,但是这需要好的offset的管理机制。O..._spark streaming的将offset存入checkpoint中
- 链接地址:https://blog.csdn.net/weixin_41076809/article/details/79978004
- 链接标题:Spark Streaming 中管理 Kafka Offsets 的几种方式_spark streaming的将offset存入checkpoint中-CSDN博客
- 所属网站:blog.csdn.net
- 被收藏次数:7036
- 网站标签:spark streaming的将offset存入checkpoint中