哪 吒擅长华为OD机试(JAVA)真题(A卷+B卷),搬砖工逆袭Java架构师,Java SE,等方面的知识...
2023-10-12 09:38 阅读 阅读全文文章浏览阅读4.4w次,点赞93次,收藏554次。数仓数据分层简介1. 背景数仓是什么, 其实就是存储数据,体现历史变化的一个数据仓库. 因为互联网时代到来,基于数据量的大小,分为了传统数仓和现代数仓.传统数仓,使用传统的关系型......
2024-01-23 19:02 阅读 阅读全文文章浏览阅读502次。1.hadoop安装1.修改hadoop配置文件 hadoop-env.sh export JAVA_HOME=/home/hadoop/app/jdk1.8.0_91 core-site.xml <!--hdfs namenode的地址+端口--> <property> <name>fs.default.name</name> <value>hdfs://hadoop000:8020</value> _......
2024-01-23 23:42 阅读 阅读全文1 DQL操作单表1.1 创建数据表,复制表(1)创建一个新的数据库 db2CREATE DATABASE db2 CHARACTER SET utf8;(2)将db1数据库中的emp表复制到当前db2数据库DQL_排序查询:/* 排序 使用order by字句 语法结构:select 字段名 from 表名 [where 字段名 = ......
2023-10-13 17:42 阅读 阅读全文文章浏览阅读550次。1 DWS层和DWM层的设计1.1 DWS层 前面的总结DWS层的定位是什么呢?轻度聚合,因为DWS层要应对很多实时查询,如果是完全的明细那么查询的压力非常大。将更多的实时数据以主题的形式组合起来便于管理,同时......
2024-01-22 20:34 阅读 阅读全文文章浏览阅读2k次,点赞2次,收藏10次。数据中心的整体架构和数据流向:DB:是现有的数据来源,可以为mysql、sqlServer、文件日志等,为数据仓库提供数据来源的一般存在于现有的业务系统之中。ETL(Extract-Transform-Load):用来描述......
2023-11-11 16:34 阅读 阅读全文文章浏览阅读2k次,点赞2次,收藏10次。数据中心的整体架构和数据流向:DB:是现有的数据来源,可以为mysql、sqlServer、文件日志等,为数据仓库提供数据来源的一般存在于现有的业务系统之中。ETL(Extract-Transform-Load):用来描述......
2023-11-11 16:34 阅读 阅读全文程序员半夏擅长2023华为OD机试(A卷+B卷)(C++JavaJSPy),学透CSS,零基础学JavaScript,等方面的知识,程序员半夏关注面试,css,es6,vue.js,javascript,xhtml,react.js,前端框架,node.js,flutter,webpack,https,typescript领域....
2023-10-13 17:23 阅读 阅读全文文章浏览阅读900次。Flink电商实时数仓项目 - 数据采集1 电商实时数仓项目概述1.1 数据分层分析离线数仓项目的分层为:ODS、DWD、DWS、DWT、ADSflink实时数仓项目的分层为:ODS、DWD、DIM、DWM、DWS、ADS其中ODS层为原始数据层;DWD层详......
2024-01-22 20:34 阅读 阅读全文文章浏览阅读2.8k次,点赞4次,收藏29次。1数仓整体说明什么数仓:一个面向分析的,反映历史变化的数据仓库;数仓的技术手段:1)传统数仓一般都是采用关系型数据库软件;2)大数据领域中则尚无一站式解决方案,通常需要用......
2024-01-21 11:02 阅读 阅读全文