文章浏览阅读437次。1 需求分析及实现思路1.1 分层需求分析1.1.1 实时数仓为什么要分层?建设实时数仓的目的,主要是为了增加数据计算的复用性。每次新增加统计需求时,不至于从原始数据进行计算,而是从半成品继续加工而......
2024-01-22 20:34 阅读 阅读全文文章浏览阅读1.7k次。文章目录第1章 数仓分层1.1 为什么要分层1.2 数据集市与数据仓库概念1.3 数仓命名规范1.3.1 表命名1.3.2 脚本命名1.3.3 表字段类型第2章 数仓理论2.1 范式理论2.1.1 范式概念2.1.2 函数依赖2.1.3 三范式区分2.2.1 关系......
2024-01-12 19:54 阅读 阅读全文基于CentOS 7.2的CDH 6.3.2 代码编写,基于CentOS 7.2的CDH 6.3.2 Kafka模拟生产数据,基于CentOS 7.2的CDH 6.3.2 Flink通过Maven构建项目,cdh,linux,centos...
2024-01-23 08:50 阅读 阅读全文文章浏览阅读1.3k次。架构项目框架数仓架构存储压缩Snappy与LZOLZO安装:读取LZO文件时,需要先创建索引,才可以进行切片。框架版本选型Apache:运维麻烦,需要自己调研兼容性。CDH:国内使用最多,不开源,已开始收费。老版......
2024-01-12 19:54 阅读 阅读全文一、数据生成脚本1. 创建Maven项目_电商平台造数据脚本...
2023-10-09 22:59 阅读 阅读全文文章浏览阅读3.4k次,点赞8次,收藏93次。本文仅供参考学习,转发自https://blog.csdn.net/a1786742005/article/details/105833521一、项目整体架构二、数据说明2.1 用户行为数据1、启动日志数据是一个单 json 数据2、事件日志数据组成:时间戳......
2024-01-12 19:52 阅读 阅读全文文章浏览阅读900次。Flink电商实时数仓项目 - 数据采集1 电商实时数仓项目概述1.1 数据分层分析离线数仓项目的分层为:ODS、DWD、DWS、DWT、ADSflink实时数仓项目的分层为:ODS、DWD、DIM、DWM、DWS、ADS其中ODS层为原始数据层;DWD层详......
2024-01-22 20:34 阅读 阅读全文文章浏览阅读2.8k次,点赞4次,收藏29次。1数仓整体说明什么数仓:一个面向分析的,反映历史变化的数据仓库;数仓的技术手段:1)传统数仓一般都是采用关系型数据库软件;2)大数据领域中则尚无一站式解决方案,通常需要用......
2024-01-21 11:02 阅读 阅读全文文章浏览阅读1.3k次。https://www.bilibili.com/video/BV1Ju411o7f8?p=76&spm_id_from=333.1007.top_right_bar_window_history.content.click&vd_source=8d02a87c6f14c53617acc291fbe1efa8_尚硅谷-flink实时数仓 代码...
2024-01-22 17:47 阅读 阅读全文