文章浏览阅读863次,点赞7次,收藏7次。另外,在Flink处理此topic中每条数据时都有获取对应写入后续Kafka topic信息,本业务对应的每条用户日志数据写入的kafka topic为“KAFKA-DWD-BROWSE-LOG-TOPIC”,所以代码可以复用。以上代码执行后......
2024-01-22 16:37 阅读 阅读全文文章浏览阅读879次,点赞9次,收藏10次。通过Flink实时把结果数据写入Clickhouse-DM层中后,我们需要编写数据发布接口方便数据使用方调用数据结果进行可视化,数据发布接口项目为SpringBoot项目“LakeHouseDataPublish”,此Springboot接......
2024-01-22 16:37 阅读 阅读全文文章浏览阅读1.8k次,点赞8次,收藏11次。随着不断删除snapshot,在Iceberg表不再有manifest文件对应的parquet文件也会被删除。Iceberg表每次commit都会生成一个parquet数据文件,有可能一张Iceberg表对应的数据文件非常多,那么我们通过Ja......
2024-01-22 16:35 阅读 阅读全文