文章浏览阅读174次。创建日志表ods_log-- ODS创建日志表ods_logdrop table if exists ods_log; -- 创建表存在先删除CREATE EXTERNAL TABLE ods_log (`line` string) -- 创建外部表,字段就是jsonPARTITIONED BY (`dt` string) -- 按照时间创建分区STORED AS -- 指定存储......
2024-01-23 08:51 阅读 阅读全文文章浏览阅读4.4k次,点赞2次,收藏11次。1.创建数据库现在数仓环境已经搭建好了;数据也都已经采集到hdfs上了;1)启动hive[atguigu@hadoop102 hive]$ bin/hive2)显示数据库hive (default)> show databases;3)创建数据库hive (default)> create dat......
2024-01-23 08:39 阅读 阅读全文助力工业物联网,工业大数据之ODS层构建:代码结构及修改【九】...
2024-09-13 06:21 阅读 阅读全文助力工业物联网,工业大数据之ODS层构建:申明分区代码及测试【十】...
2024-09-13 06:21 阅读 阅读全文目录一、数仓分层1.1 为什么要分层1.2 数据集市与数据仓库概念1.3 数仓命名规范1.3.1 表命名1.3.2 脚本命名1.3.3 表字段类型二、数仓理论2.1 范式理论2.1.1 范式概念2.1.2 函数依赖2.1.3 三范式区分2.2 关系建模与维度建模2.2.1 关系建模2......
2024-01-12 19:54 阅读 阅读全文文章浏览阅读1.1k次,点赞28次,收藏25次。这里也可以不设置从头开始消费Kafka数据,而是直接启动实时向MySQL表中写入数据代码“RTMockDBData.java”代码,实时向MySQL对应的表中写入数据,这里需要启动maxwell监控数据,代码才能实......
2024-01-22 16:37 阅读 阅读全文我想看在大数据计算MaxCompute ods层生产环境有多少表正在使用 应该怎么看呢?在数据地图里不能直接看吗?...
2024-06-29 07:45 阅读 阅读全文文章浏览阅读237次。建表-- 订单表(增量及更新)-- hive (gmall)>drop table if exists ods_order_info;create external table ods_order_info ( `id` string COMMENT '订单号', `final_total_amount` decimal(16,2) COMMENT '订单金额', `order_status` string COMMENT '订单......
2024-01-23 08:51 阅读 阅读全文文章浏览阅读550次。1 DWS层和DWM层的设计1.1 DWS层 前面的总结DWS层的定位是什么呢?轻度聚合,因为DWS层要应对很多实时查询,如果是完全的明细那么查询的压力非常大。将更多的实时数据以主题的形式组合起来便于管理,同时......
2024-01-22 20:34 阅读 阅读全文文章浏览阅读900次。Flink电商实时数仓项目 - 数据采集1 电商实时数仓项目概述1.1 数据分层分析离线数仓项目的分层为:ODS、DWD、DWS、DWT、ADSflink实时数仓项目的分层为:ODS、DWD、DIM、DWM、DWS、ADS其中ODS层为原始数据层;DWD层详......
2024-01-22 20:34 阅读 阅读全文