spark读取kafka数据(两种方式比较及flume配置文件)_spark接受kalfa,flume-CSDN博客

网站介绍:文章浏览阅读4.9k次。Kafka topic及partition设计 1、对于银行应用日志,一个系统建一个topic,每台主机对应一个partition,规则为,flume采集时,同一个应用,数据送到同一个topic,一个主机,送一个partition,这样做是为了同一个日志的数据在一个partition中,顺序不会乱。另,flume配置文件可以配置sink的topic和partition id(xxx._spark接受kalfa,flume