离线数仓01-用户行为日志采集平台_数仓日志采集-CSDN博客

网站介绍:文章浏览阅读398次。1 数据仓库项目1.1 数据仓库概念数据仓库(Data Warehouse)①日志采集系统②业务系统数据③爬虫系统等获得的数据进行清洗、转义、分类、重组、合并、拆分、统计等操作。1.2 项目需求用户行为数据采集平台的搭建(前端埋点日志数据)业务数据采集平台的搭建(MySQL业务数据)数据仓库维度建模(hive数据分层:ods、dwd、dws、dwt、ads)即席查询工具,随时进行指标分析(es、kibana)集群性能监控元数据管理质量监控2 架构设计2.1 技术选型数据采集传_数仓日志采集