网友收藏 文章浏览阅读2.2k次。pg作为最先进的开源数据库诞生之初就带有许多高级的使用特性,比如丰富的函数、高级扩展包等,pg是单机数据库,集群化是把多个单机数据库以集群化对外提供服务,但节点状态保持和检测需要第三方中......
2024-01-22 23:14 阅读
阅读全文 网友收藏 文章浏览阅读1.6k次。前言 元数据管理是企业数据治理的基础,是数据仓库的提升。作为一名数据人,首要任务就是理解元数据管理。本篇文章将为大家梳理元数据的概念,介绍元数据管理在数据仓库的地位、场景及工具......
2024-01-23 11:05 阅读
阅读全文 网友收藏 文章浏览阅读268次。数仓 DW层中主题表之站外广告分析主题1. 背景在大数据开发中,本身的数据处理分析目的一般就是2类,一个是基于现有数据找出规律,做总结和分类统计。一个是基于现有数据找出规律,然后训练出模型,......
2024-01-23 19:07 阅读
阅读全文 网友收藏 文章浏览阅读4.7k次。Table & SQL API 是⼀种关系型 API,用户可以像操作 mysql 数据库表一样的操作数据,而不需要写java 代码完成 Flink Function,更不需要手工的优化 java 代码调优。BatchTableEnvironment (离线批处理Table API)ExecutionEnvironm......
2024-01-22 16:30 阅读
阅读全文 网友收藏 文章浏览阅读933次。数据库是优先级很高的特殊应用服务,prometheus+grafana的搭配是目前生产环境的标准答案,因此本文搭建pg数据库的监控告警框架(监控和告警要分开,监控就是面板看,告警是要通过某种通讯方式通知到维护......
2024-01-22 23:14 阅读
阅读全文 网友收藏 文章浏览阅读933次。数据库是优先级很高的特殊应用服务,prometheus+grafana的搭配是目前生产环境的标准答案,因此本文搭建pg数据库的监控告警框架(监控和告警要分开,监控就是面板看,告警是要通过某种通讯方式通知到维护......
2024-01-22 23:14 阅读
阅读全文 网友收藏 文章浏览阅读933次。数据库是优先级很高的特殊应用服务,prometheus+grafana的搭配是目前生产环境的标准答案,因此本文搭建pg数据库的监控告警框架(监控和告警要分开,监控就是面板看,告警是要通过某种通讯方式通知到维护......
2024-01-22 23:14 阅读
阅读全文 网友收藏 文章浏览阅读550次。1 DWS层和DWM层的设计1.1 DWS层 前面的总结DWS层的定位是什么呢?轻度聚合,因为DWS层要应对很多实时查询,如果是完全的明细那么查询的压力非常大。将更多的实时数据以主题的形式组合起来便于管理,同时......
2024-01-22 20:34 阅读
阅读全文 网友收藏 文章浏览阅读1.8k次,点赞2次,收藏19次。2 大数据电商数仓项目——项目需求及架构设计2.1 项目需求分析用户行为数据采集平台搭建。业务数据采集平台搭建。数据仓库维度建模(核心):主要设计ODS、DWD、DWS、AWT、ADS等各个......
2024-01-12 19:50 阅读
阅读全文 网友收藏 文章浏览阅读1.1k次。数据仓库,英文名称为 Data Warehouse,可简写为 DW 或 DWH。数据仓库,是为企业所有级别的决 策制定过程,提供所有类型数据支持的战略集合。它是单个数据存储,出于分析性报告和决策支持目的而创建。 ......
2024-01-22 22:47 阅读
阅读全文