文章浏览阅读1.5k次。专题、专题域、主题、主题域、数据域、离线数据仓库、数仓、业务元数据、数据治理、元数据、元数据搜索、表注释、元数据可视化_hive数仓 主题域...
2024-01-23 04:45 阅读 阅读全文文章浏览阅读1.1k次,点赞2次,收藏12次。1. 数据仓库主要特征2. 数据仓库(OLAP)与数据库(OLTP)区别3. 数据仓库的分层4. 数据仓库之ETL5. Hive的特点6. Hive架构7. Hive的安装模式8. Hive的交互方式9. Hive各种表10. ORDER BY、Sort By、Distribute By......
2024-01-23 15:28 阅读 阅读全文文章浏览阅读305次。启动界面连接Hive客户端这边要进行一个配置(先不慌,我们要先启动hiveserver2)启动hiveserver2// 启动hiverserver2[scorpion@warehouse102 ~]$ hiveserver2配置连接hive客户端参数这边在进行测试连接时,可能会下载一个驱动,......
2024-01-23 08:51 阅读 阅读全文文章浏览阅读352次。默认队列defaultYarn默认调度器为Capacity Scheduler(容量调度器),且默认只有一个队列——default。如果队列中执行第一个任务资源不够,就不会再执行第二个任务,一直等到第一个任务执行完毕。解决办法一:......
2024-01-23 08:52 阅读 阅读全文文章浏览阅读632次。资料Spark官网jar下载:http://spark.apache.org/downloads.html链接:https://pan.baidu.com/s/17Wu0-T_mwfKtckaqJP8yVg提取码:rn60兼容问题官网下载的Hive3.1.2和Spark3.0.0默认是不兼容的。因为Hive3.1.2支持的Spark版本是2.4.5,所以需要我......
2024-01-23 08:52 阅读 阅读全文文章浏览阅读138次。资料参考博客:https://blog.csdn.net/qq_40180229/article/details/104858967链接:https://pan.baidu.com/s/1V554UcEuawYl9J7VQmEqMA提取码:506m_电商订单数据hive下载...
2024-01-23 08:52 阅读 阅读全文五分钟学大数据擅长大数据,数仓,hive,等方面的知识,五分钟学大数据关注hive,spark,hadoop,etl领域....
2023-10-11 20:59 阅读 阅读全文文章浏览阅读1k次。文章目录1 NULL1.1 nvl(cloumn,0)用0替换掉1.2 Null造成数据倾斜1 NULL1.1 nvl(cloumn,0)用0替换掉在处理avg时,null将不参加 需要替换成0concat(‘abc’,‘def’) = abcdefconcat(‘abc’,‘null’) = nullconcat_ws1.2 Null造成数据倾斜......
2024-01-23 16:48 阅读 阅读全文文章浏览阅读2.2k次。文章目录前置要求Hadoop集群启动Kerberos认证创建Hive系统用户和Kerberos主体启动hiveserver2Hive Kerberos认证使用说明beeline客户端DataGrip客户端新建Driver新建连接前置要求Hadoop集群启动Kerberos认证按照上述步骤为Hadoop......
2024-01-24 04:19 阅读 阅读全文文章浏览阅读936次。Hive基础操作–>学hive我们就学三个知识:1. 建表 create table,2. 导入数据 :insert into select,3. 查询分析:selectDDL:表的创建:内部表,外部表,分区表,分桶表DML:导入数据:6种方式1.关于直接使用HDFS命令来导入数据2.insert......
2024-01-21 08:21 阅读 阅读全文