文章浏览阅读3.3k次,点赞2次,收藏32次。【学习笔记】尚硅谷大数据项目之Flink实时数仓---数据采集_实时数仓3.0笔记...
2024-01-22 17:47 阅读 阅读全文文章浏览阅读398次。1 数据仓库项目1.1 数据仓库概念数据仓库(Data Warehouse)①日志采集系统②业务系统数据③爬虫系统等获得的数据进行清洗、转义、分类、重组、合并、拆分、统计等操作。1.2 项目需求用户行为数据采集平台......
2024-01-22 20:34 阅读 阅读全文一、集群各服务启动脚本1. Hadoop 启动停止脚本 (yx_hadoop.sh)#!/bin/bash#hadoop集群的一键启动脚本if(($#!=1))then echo '请输入start|stop参数!' exit;fi#只允许传入start和stop参数if [ $1 = start ] || [ $1 = stop ]then $1-dfs.sh $1-yarn......
2023-10-09 22:59 阅读 阅读全文文章浏览阅读6.5k次,点赞3次,收藏29次。大数据数仓之报表开发1. 背景在大数据开发中,主要的数据分析目的可以分为2类。一类是基于历史数据(就算是实时数仓,接收到数据的时候,其实也已经是历史数据了)做数据规律或......
2024-01-23 19:02 阅读 阅读全文文章浏览阅读163次。|0x00 老大难的数仓治理“年年数据要治理,数据年年治不好”。数仓治理的老大难,通常是跟着业务需求快跑,要不是数据零散在各个团队,或者是大家的研发规范有不同,作为一项通过维度模型来约束规范......
2024-01-22 21:07 阅读 阅读全文文章浏览阅读1.3k次,点赞35次,收藏37次。文章目录一、Docker安装1.1 Centos Docker安装1.2 Ubuntu Docker安装【推荐】1.3 MacOs Docker安装1.4 Windows Docker安装【不推荐】二、容器准备2.1 拉取镜像2.2 启动并创建容器2.3 进入容器三、环境准备3.......
2024-01-22 17:38 阅读 阅读全文文章浏览阅读2.1k次,点赞4次,收藏36次。电商数仓项目(一)一.数据仓库概念1.业务数据就是各行业在处理事务过程中产生的数据。2.用户行为数据用户在使用产品过程中,与客户端产品交互过程中产生的数据。3.数据仓库为企业......
2024-01-12 19:54 阅读 阅读全文资源浏览查阅69次。第一部分调度优化为了无法计算的价值|C习阿里云调度优化方式1.大任务(耗时长)定时时间提前数仓的维护和优化具体是怎么进行的更多下载资源、学习资料请访问CSDN文库频道....
2024-01-12 19:56 阅读 阅读全文文章浏览阅读387次。为什么会有同步策略1. 基于大数据环境下的数据,若将数据从DB中导入到HDFS中。每天导入的方式都是将一张表数据中所有数据都全部导入都HDFS(全量导入),如订单表16号、17号、18号。。。的数据都会导入到HDF......
2024-01-23 08:52 阅读 阅读全文文章浏览阅读1.1k次。文章目录第1章 数据仓库概念第2章 项目需求2.1 项目需求分析第1章 数据仓库概念第2章 项目需求2.1 项目需求分析_大数据项目之电商数仓复购率...
2024-01-12 19:50 阅读 阅读全文