网站介绍:文章浏览阅读409次。1、KafkaUtils.createDstream构造函数为KafkaUtils.createDstream(ssc, [zk], [consumer group id], [per-topic,partitions] )使用了receivers来接收数据,利用的是Kafka高层次的消费者api,对于所有的receivers接收到的数据将会保存在Sparkexecutors中,然后通过Spark Streaming启动job来处理这些数据,默认会丢失,可启用WAL日志,该日志存储在HDFS上..._spark读取api
- 链接地址:https://blog.csdn.net/qq_34635236/article/details/106242746
- 链接标题:Spark读取Kafka 高低阶API_spark读取api-CSDN博客
- 所属网站:blog.csdn.net
- 被收藏次数:313
- 网站标签:spark读取api