大数据之实时数仓建设(二)_clickhouse merge-CSDN博客

网站介绍:文章浏览阅读4.9k次。如果数据量大,维度多,用keyBy并不方便,建议写到外部实时数仓里,Clickhouse擅长实时查询,flink擅长实时处理。一、多维度复杂统计(使用Clickhouse)使用是clickhouse的ReplacingMergeTree,可以将同一个分区中,ID相同的数据进行merge,可以保留最新的数据,可以使用这个特点实现Flink + Clickhouse(勉强)实现数据一致性。存在的问题:写入到clickhouse中的数据不能立即merge,需要手动optimize或后台自动合并。解决方案:_clickhouse merge