本次精心打造的数仓项目的课程,从项目架构的搭建,数据采集模块的设计、数仓架构的设计、实战需求实现...
2023-10-11 20:57 阅读 阅读全文资源浏览查阅126次。电商数仓项目(三)hadoop3.2.2安装与配置更多下载资源、学习资料请访问CSDN文库频道....
2024-01-12 19:56 阅读 阅读全文一、Hadoop性能测试1. 测试HDFS写性能:向HDFS集群写10个128M的文件yexiang@hadoop2:<~>$ hadoop jar /opt/soft/hadoop-2.7.2/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-2.7.2-tests.jar TestDFSIO -write -nrFiles 10 -fileSize 128MB2.测试HDFS读性能:读取HDFS集......
2023-10-09 22:59 阅读 阅读全文文章浏览阅读1.2k次。【学习笔记】尚硅谷大数据项目之Flink实时数仓---数据可视化接口实现_尚硅谷大数据...
2024-01-22 17:47 阅读 阅读全文文章浏览阅读3.2k次,点赞2次,收藏46次。电商数据仓库系统6. 数仓搭建-DWD层启动日志表–对应一个启动日志页面日志表–对应一个页面埋点日志动作日志表–在一个页面埋点日志会有多个动作一行数据是一个动作,所以就需要......
2024-01-22 17:48 阅读 阅读全文一、数据仓库概念数据仓库(Data Warehouse)是为企业所有决策制定过程,提供所有系统数据支持的战略集合 通过对数据仓库中数据的分析可以帮助企业,改进业务流程、控制成本、提供产品质量等 数据仓库,并不是数据的最终......
2023-10-09 22:59 阅读 阅读全文文章浏览阅读1.7k次,点赞4次,收藏52次。【尚硅谷】电商数仓V4.0丨大数据数据仓库项目实战【学习记录】思考问题?1. 为什么用hive on spark来处理数据?1. 数据仓库概念1.1 原始数据备份到ODS中1.2 DWD完成数据的清洗1.3 join形成大......
2024-01-22 17:48 阅读 阅读全文一、FastJson 框架JSON对象: {"属性名":"属性值","属性名":"属性值","数组":[]} JSON数组: [{},{},{}] FastJson是阿里巴巴的框架,用的是JSONObject类看出JSONObject 类用的是 Map进行存放public JSONObject(Map<S......
2023-10-09 22:59 阅读 阅读全文一、Hadoop 支持 LZO 压缩配置前一章说了如何编译,生成的jar 名为hadoop-lzo-0.4.20.jar1. 把hadoop-lzo-0.4.20.jar 放到 hadoop2 机器中hadoop-2.7.2/share/hadoop/common/ 目录下yexiang@hadoop2:<common>$ pwd/opt/soft/hadoop-2.7.2/share/hadoop/commonyexiang@hadoop2:<co......
2023-10-09 22:59 阅读 阅读全文文章浏览阅读1.8k次,点赞2次,收藏19次。2 大数据电商数仓项目——项目需求及架构设计2.1 项目需求分析用户行为数据采集平台搭建。业务数据采集平台搭建。数据仓库维度建模(核心):主要设计ODS、DWD、DWS、AWT、ADS等各个......
2024-01-12 19:50 阅读 阅读全文