文章浏览阅读908次。创建商品维度表(全量)商品维度表主要是将商品表SKU表、商品一级分类、商品二级分类、商品三级分类、商品品牌表和商品SPU表退化为商品表。-- dwd-业务数据-创建商品维度表(全量)DROP TABLE IF EXISTS `dwd_dim_sku_in......
2024-01-23 08:51 阅读 阅读全文文章浏览阅读4.4w次,点赞93次,收藏554次。数仓数据分层简介1. 背景数仓是什么, 其实就是存储数据,体现历史变化的一个数据仓库. 因为互联网时代到来,基于数据量的大小,分为了传统数仓和现代数仓.传统数仓,使用传统的关系型......
2024-01-23 19:02 阅读 阅读全文文章浏览阅读893次。一、概述埋点采集、用户行为分析、实时数仓、IdMapping此文重点讲述埋点的数据模型、数据格式、数据实时采集、加工、存储及用户关联。关于用户行为分析的概念、意义以及埋点相关的东西此文不作赘述二......
2024-01-12 19:52 阅读 阅读全文文章浏览阅读515次。数仓 拉链表1. 背景在数仓开发中,有时候需要记录下数据的所有历史状态,大家是否想起来,其实企业开发中代码也是有这个需求,公司中的需求文档,设计稿也都是有这个需求的。在大数据场景中,其实......
2024-01-23 19:07 阅读 阅读全文文章浏览阅读526次。1 【数仓模块-字典构建篇】1.1 地理位置字典构建1.1.1 需求说明在埋点日志中,有用户的地理位置信息,但是原始数据形式是GPS坐标;但是GPS坐标在后续(地理位置维度分析)的分析中不好使用!直接去匹配......
2024-01-12 19:52 阅读 阅读全文文章浏览阅读1.2k次。电商数仓-用户行为数据采集数据仓库的概念数据仓库( Data Warehouse ),是为企业所有决策制定过程,提供所有系统数据支持的战略集合。通过对数据仓库中数据的分析,可以帮助企业,改进业务流程、控制......
2024-01-12 19:50 阅读 阅读全文文章浏览阅读2.8k次,点赞3次,收藏7次。前言 卷友们,大家好 ~ 我是梦想家 Alex 。最近原创更新频率挺高,主要还是感谢群友们的积极投稿,让我能得到这么多珍贵的素材,才有机会展示给大家~ 本期内容,我为大......
2024-01-22 14:23 阅读 阅读全文文章浏览阅读819次。近期在回顾RDBMS基础,再次加深事务与实现方面的认识,存储是数据库之本,查询与交互的效率是数据库好坏的衡量标准,但绝大部分场景中要求交互前后需要满足事务性(并不是所有场景都需要),也即是......
2024-01-22 23:14 阅读 阅读全文文章浏览阅读1.3k次。1个维度表动辄30个字段3个维度表接近100个字段a一对多b一对多c,则c是最细维度,则c左联b左联a联表后,命名以最细粒度c,全量维度表后缀full,拉链表后缀zip,则全名为dim_c_full字段命名维度层事实表维度表......
2024-01-12 19:52 阅读 阅读全文文章浏览阅读198次。创建DWS每日活动统计表drop table if exists dws_activity_info_daycount;create external table dws_activity_info_daycount( `id` string COMMENT '编号', `activity_name` string COMMENT '活动名称', `activity_type` string COMMENT '活动类型', `start_......
2024-01-23 08:51 阅读 阅读全文