网友收藏大数据：Spark实战经验总结（python版）_python+spark数仓项目及实现_Acegem的博客-CSDN博客
人工智能大数据，Spark，Hadoop，python，pyspark大数据：Spark实战经验总结1. RDD持久化1）RDD的惰性机制：2）RDD持久化 --- （解决惰性机制的效率问题）：（1）效率低的背景：（2）增加持久化（缓存）：（3）实际开发中，持久化（缓......
网友收藏阅读全文
网友收藏网友收藏字节面经｜年薪70W｜大数据｜四面+定级面｜已拿Offer_上游新增一个字段,数仓应该如何应对?-CSDN博客
文章浏览阅读2.9k次。【引言】今天分享的是字节跳动-Data大数据开发岗位的面试经验。拿到了年薪70W的Offer！对于大数据的同学有一定的参考意义一共5面，从投递简历到发放Offer，整体耗时在1个月左右。面试难度中等，需......
网友收藏Flink实时数仓DWM层支付宽表设计_flink两张表如何打宽-CSDN博客
文章浏览阅读782次。Flink实时数仓DWM层支付宽表设计需求分析与思路支付宽表的目的，最主要的原因是支付表没有到订单明细，支付金额没有细分到商品上，没有办法统计商品级的支付状况。所以支付宽表的核心就是要把支付表......
网友收藏电商数仓3.0 DWD层用户行为数据处理_dwd对日志数据做了什么处理-CSDN博客
文章浏览阅读302次。启动日志格式// 一条启动日志ＪＳＯＮ格式{ "common": { "ar": "420000", "ba": "Xiaomi", "ch": "xiaomi", "md": "Xiaomi 9", "mid": "mid_896", &q......
网友收藏数仓 DW层 用户活跃度分析主题_113-数据功能分析-用户主题分析-活跃主题分析-活跃中间表实现开发-CSDN博客
文章浏览阅读397次。数仓 DW层 用户活跃度分析主题1. 背景在大数据分析行为日志数据中，很多时候需要分析用户活跃度，这是判断业务健康程度和发展趋势的一个重要指标。当用户活跃度低的时候，就需要分析原因，改善或者......
网友收藏02 电商数仓(数据采集模块)_shoppingmall/techgz_data/data4.tar.gz-CSDN博客
文章浏览阅读420次。电商数仓(数据采集模块)写在前面：本文是我在学习电商数仓项目的过程中，对相关知识点的记录与总结。文章目录电商数仓(数据采集模块)1. Hadoop 安装1.1 安装 Hadoop1.2 Hadoop 集群启动停止脚本2. Zookeeper 安装2.......
网友收藏02 电商数仓(数据采集模块)_shoppingmall/techgz_data/data4.tar.gz-CSDN博客
文章浏览阅读420次。电商数仓(数据采集模块)写在前面：本文是我在学习电商数仓项目的过程中，对相关知识点的记录与总结。文章目录电商数仓(数据采集模块)1. Hadoop 安装1.1 安装 Hadoop1.2 Hadoop 集群启动停止脚本2. Zookeeper 安装2.......
网友收藏数据仓库之电商数仓-- 3.1、电商数据仓库系统(ODS层、DIM层、DWD层)_数据库_FunnyPrince_-华为云开发者联盟
目录一、数仓分层1.1 为什么要分层1.2 数据集市与数据仓库概念1.3 数仓命名规范1.3.1 表命名1.3.2 脚本命名1.3.3 表字段类型二、数仓理论2.1 范式理论2.1.1 范式概念2.1.2 函数依赖2.1.3 三范式区分2.2 关系建模与维度建模2.2.1 关系建模2......
网友收藏聊聊数据公司团队对数仓的规范都做什么事_团队合作的时候如何保证数仓分层的规范?-CSDN博客
文章浏览阅读232次。数仓规范分类数据仓库规范全解 这篇文章中给出了数仓规范的分类脑图，大致可以分为：设计规范流程规范质量管控规范安全规范对于我们人少事多的小团队来说，首先需要落地的是第一点。比如说质量管......
网友收藏电商数仓学习-DataX的使用_python bin/datax.py -p"-ddt=2020-06-14" 多个参数-CSDN博客
文章浏览阅读818次。全量表同步工具DataX前言一、DataX简介1.DataX概述2.DataX支持的数据源二、DataX架构原理1.DataX设计理念2.DataX框架设计3.DataX运行流程4.DataX调度决策思路5.DataX和Sqoop对比三、DataX部署1.下载安装四、DataX使用1.DataX任......
