文章浏览阅读3k次,点赞7次,收藏18次。前言 维度缓慢变化为SCD(Slowly Changing Dimensions)一些维度表的数据不是静态的,而是会随着时间而缓慢地变化(这里的缓慢是相对事实表而言,事实表数据变化的速度比维度表快,......
2024-01-23 11:07 阅读 阅读全文文章浏览阅读544次。数仓为什么要分层? 用空间换时间,通过大量的预处理来提升应用系统的用户体验(效率),因此数据仓库会存在大量冗余的数据;不分层的话,如果源业务系统的业务规则发生变化将会影响整个数据清洗......
2024-01-23 04:35 阅读 阅读全文文章浏览阅读702次。文章目录1.数据链路介绍2.数据层测试2.1 数据及时性2.2 数据完整性2.3 数据准确性3.应用层测试4.后续规划1.数据链路介绍应用服务层、数据网关层、应用存储层、数据仓库,并且作业开发、元数据管理等平台......
2024-01-12 19:55 阅读 阅读全文文章浏览阅读1k次。点击上方蓝色字体,置顶/星标哦目前10000+人已关注加入我们本文目录CONTENTS ☞ 01.可视化BI工具[ 开源BI,商业BI,传统BI] ☞ 0..._olap+bi...
2024-01-22 16:26 阅读 阅读全文文章浏览阅读6k次,点赞5次,收藏2次。关于数据同步工具和ETL工具的调研,主要分为特定场景和通用场景下,在真实生产环境中多个存储系统之间的数据同步少不了需要同步工具,而主节点与备份节点之间也有一些专用的备份......
2024-01-22 23:16 阅读 阅读全文数据仓库是一个面向主题的(Subject Oriented)、集成的(Integrate)、相对稳定的(Non-Volatile)、反映历史变化(Time Variant)的数据集合,用于支持管理决策。数据仓库概念是Inmon于1990年提出并给出了完整的建设方法。随着互联网......
2023-10-13 18:11 阅读 阅读全文文章浏览阅读177次。资料文档查看地址:http://flume.apache.org/FlumeUserGuide.htmlFlume官网地址:http://flume.apache.org/下载地址:http://archive.apache.org/dist/flume/参考博客:https://blog.csdn.net/qq_40180229/article/details/104523248链接:https://pan.baidu.com/s/......
2024-01-23 08:53 阅读 阅读全文文章浏览阅读2.6k次,点赞8次,收藏24次。对于数仓的概念非常大非常广泛,而且也并没有绝对正确的架构,只是有一定的方法论,一定的前人总结留下来的理论,所以我也不知道我这个系列会更多久,会更多少,反正我就把我......
2024-01-24 07:38 阅读 阅读全文文章浏览阅读2.1k次,点赞3次,收藏31次。尚硅谷大数据项目之Flink实时数仓-踩坑记录和笔记记录_flink17 给泛型对象赋值...
2024-01-22 17:47 阅读 阅读全文文章浏览阅读3.7k次。create table SCORE_fengzi( cname VARCHAR(10), sciense VARCHAR(10), score INT)--- 插入数据insert into SCORES values("zhangsan","language",81);insert into SCORES values("zhangsan","math",75);insert into SCORES values("......
2024-01-22 23:15 阅读 阅读全文