文章浏览阅读409次。1、KafkaUtils.createDstream构造函数为KafkaUtils.createDstream(ssc, [zk], [consumer group id], [per-topic,partitions] )使用了receivers来接收数据,利用的是Kafka高层次的消费者api,对于所有的receivers接收到的数据将会保存在Sparkexecuto......
2024-01-24 08:19 阅读 阅读全文文章浏览阅读802次。public class CreateDFFromMysql {public static void main(String[] args) {SparkConf conf = new SparkConf();conf.setMaster(“local”).setAppName(“mysql”);/*** 配置join或者聚合操作shuffle数据时分区的数量/conf.set(“..._java spark mysql option...
2024-01-24 08:31 阅读 阅读全文