Flink电商实时数仓项目04-DWS层_flink 从ods到dws-CSDN博客

网站介绍:文章浏览阅读550次。1 DWS层和DWM层的设计1.1 DWS层 前面的总结DWS层的定位是什么呢?轻度聚合,因为DWS层要应对很多实时查询,如果是完全的明细那么查询的压力非常大。将更多的实时数据以主题的形式组合起来便于管理,同时也能减少维度查询的次数。ODS层: -- 日志数据: nginx+日志采集服务器(3台) 将数据采集到Kafka(ods_base_log) -- 业务数据: Maxwell监控MySQL(binlog) 将数据采集到Kafka(ods_b_flink 从ods到dws