网站介绍:文章浏览阅读4.9k次。Kafka topic及partition设计 1、对于银行应用日志,一个系统建一个topic,每台主机对应一个partition,规则为,flume采集时,同一个应用,数据送到同一个topic,一个主机,送一个partition,这样做是为了同一个日志的数据在一个partition中,顺序不会乱。另,flume配置文件可以配置sink的topic和partition id(xxx._spark接受kalfa,flume
- 链接地址:https://blog.csdn.net/liguangzhu620/article/details/78917558
- 链接标题:spark读取kafka数据(两种方式比较及flume配置文件)_spark接受kalfa,flume-CSDN博客
- 所属网站:blog.csdn.net
- 被收藏次数:4585
- 网站标签:spark接受kalfa flume