工作日志1---关于数仓的数据说明_数仓表使用说明-CSDN博客

网站介绍:文章浏览阅读242次。数仓整体说明:1.1使用到的技术使用flume进行数据采集,hdfs为存储平台,hive进行操作,sparksql为技术引擎,yarn作为资源调度平台,rookeeper为任务调度平台,altas管理元数据,1.2分层设计ADS为服务层DWD为数仓汇总层,ODS详细设计:ODS操作数据DIM存储维表ODS:存放flume采集过的原始数据,主要是对进行ods层数据做ETL处理后的数据扁平化处理,以parquet文件格式存储,一般大概在3-6个月数据规模._数仓表使用说明