文章浏览阅读1.1k次。数据仓库,英文名称为 Data Warehouse,可简写为 DW 或 DWH。数据仓库,是为企业所有级别的决 策制定过程,提供所有类型数据支持的战略集合。它是单个数据存储,出于分析性报告和决策支持目的而创建。 ......
2024-01-22 22:47 阅读 阅读全文文章浏览阅读629次。1.org.apache.phoenix.exception.PhoenixIOException: org.apache.hadoop.hbase.regionserver.NoSuchColumnFamilyException:具体报错org.apache.phoenix.exception.PhoenixIOException: org.apache.hadoop.hbase.regionserver.NoSuchColumnFamilyException: Column family ta_cannot suppor......
2024-01-21 12:55 阅读 阅读全文文章浏览阅读6.4k次,点赞8次,收藏44次。大家好,我终于又出现了!这次要讲讲数据存储格式的选择!平时呢,我也会加一些有的没有的交流群,主要还是日常潜水看看里面有没有大佬!然后就遇到了一个问题:hadoop上存储的......
2024-01-24 07:38 阅读 阅读全文文章浏览阅读1.2k次。Flink实时数仓DWM层: 订单宽表需求分析与思路订单是统计分析的重要的对象,围绕订单有很多的维度统计需求,比如用户、地区、商品、品类、品牌等等。为了之后统计计算更加方便,减少大表之间的关联,......
2024-01-23 12:33 阅读 阅读全文文章浏览阅读879次,点赞3次,收藏4次。大数据数仓之OLAP总结(一)1. 背景在企业生产中,由于现有商业环境和业务越来越复杂和庞大,没有准确及时的数据支撑,在做企业经营决策和分析时,是无法得到很好的现实反馈,甚至......
2024-01-23 19:07 阅读 阅读全文文章浏览阅读557次。1 数据可视化接口1.1 设计思路之前把轻度聚合的结果都保存到了ClickHouse中,主要目的就是提供即时的数据查询、统计、分析服务。这些统计服务一般会用两种形式展示,一种是为专业的数据分析人员的BI工具......
2024-01-22 20:34 阅读 阅读全文文章浏览阅读460次。目录日志消费Flume配置Flume内存优化Flume组件日志消费Flume启动停止脚本采集通道启动/停止脚本日志消费Flume配置1.Flume的具体配置如下:(1)在hadoop14的/export/servers/flume/conf目录下创建kafka-flume-hdfs.conf文件a1.sour......
2024-01-12 19:54 阅读 阅读全文文章浏览阅读132次。IT行业发展速度快,市场需求大,而且,程序员薪酬高、福利待遇高,成为很多从业者向往的职业,当然,也刺激了很多非计算机专业的从业者进入该领域。转行进入IT行业在最近的几年一直是个热门,那么......
2024-01-23 10:45 阅读 阅读全文文章浏览阅读719次。文章目录第5章 数仓搭建-DWS层5.1 业务术语5.2 系统函数5.2.1 nvl函数5.2.2 日期处理函数5.2.3 复杂数据类型定义5.3 DWS层5.3.1 每日设备行为5.3.2 每日会员行为5.3.3 每日商品行为5.3.4 每日活动统计5.3.5 每日地区统计5.4......
2024-01-12 19:54 阅读 阅读全文文章浏览阅读1.4k次,点赞2次,收藏18次。电商数仓(用户行为数据仓库 DWS/ADS层)文章目录电商数仓(用户行为数据仓库 DWS/ADS层)1. 业务知识准备1.1 业务术语1.2 系统函数1.2.1 collect_set 函数1.2.2 日期处理函数2. 需求一:用户活跃主题2......
2024-01-23 16:33 阅读 阅读全文