文章浏览阅读653次。当处理实时数据是聚合类的运算是,可以写入到mysql中,因为数据量不大,但如果是非聚合类的数据,mysql中存放不下,此时可以使用支持覆盖写入或事务的大型数据库,例如:hbase,ES,clickhousehbase在写入数据时如果行键......
2024-01-23 02:50 阅读 阅读全文文章浏览阅读917次。spark streaming 结合kafka 精确消费一次将结果保存到hbase1. 环境scala 2.12.12jdk 1.8idea 2020.1maven 3.6.3spark 3.0.1kafka 0.10hadoop 3.2.1hbase 2.2.5 (另外一个明细数据幂等处理,保存到habse)redis 5.0pom<!-- 定义了一些常量 --> ......
2024-01-23 19:05 阅读 阅读全文