网友收藏 0x01 主从复制说明reids 虽然读取速度特别快,但也会产生读压力的,为了分担这个压力,redis支持主从复制,redis的主从结构可以采用一主多从或者级联结构,redis组从复制根据是否全量可以分为全量同步和增量同步全量同步Redis......
2023-10-11 14:15 阅读
阅读全文 网友收藏 文章浏览阅读1.3w次,点赞2次,收藏14次。1.安装hive 如果想创建一个数据库用户,并且为数据库赋值权限,可以参考:http://blog.csdn.net/tototuzuoquan/article/details/527855042.将配置好的hive-site.xml、core-site.xml、hdfs-site.xml放入$SPARK_HOME/conf......
2024-01-24 08:29 阅读
阅读全文 网友收藏 文章浏览阅读2.4k次。文章目录Shell学习向一个sh文件写入内容并执行本次学习最终效果描述最终代码代码描述第一段第二段第三段知识补充上述if语法说明补充for循环补充while循环补充case语句Shell学习向一个sh文件写入内容并执行......
2023-11-12 04:59 阅读
阅读全文 网友收藏 文章浏览阅读3.6k次。 版权声明:本文为博主原创文章,未经博主允许不得转载!!欢迎访问:https://blog.csdn.net/qq_21439395/article/details/81951173交流QQ: 824203453 Linux简介 UNIX与Linux发展史Unix在1969年,美国贝尔实验室的肯汤普森在DEC PDP-7机......
2024-01-24 07:43 阅读
阅读全文 网友收藏 文章浏览阅读306次。⼯作流调度系统Azkaban第 1 节 概述1.1 ⼯作流调度系统⼀个完整的数据分析系统通常都是由⼤量任务单元组成:shell脚本程序 java程序 mapreduce程序 hive脚本等各任务单元之间存在时间先后及前后依赖关系,为了很......
2023-11-11 18:11 阅读
阅读全文 网友收藏 文章浏览阅读279次。目录使用场景集群规划zookeeper安装1.下载zookeeper安装包2.解压3.修改配置文件4.添加myid配置5.安装包分发到其他机器并修改myid的值6.启动zookeeper集群zookeeper的shell客户端操作1.登录zookeeper客户端2.zookeeper客户端操......
2024-01-21 08:21 阅读
阅读全文 网友收藏 文章浏览阅读7.1k次。所遇问题:由于在IDEA下可以方便快捷地运行scala程序,所以先前并没有在终端下使用spark-submit提交打包好的jar任务包的习惯,但是其只能在local下执行,在网上搜了好多帖子都不能启动spark集群,由于实验任......
2024-01-24 09:32 阅读
阅读全文 网友收藏 文章浏览阅读1.3k次。目录交互式查询⼯具Impala第 1 部分 Impala概述1.1 Impala是什么1.2 Impala优势Impala与Hive对⽐1.3 Impala的缺点1.4 适⽤场景第 2 部分 Impala 安装与⼊⻔案例2.1 集群准备2.1.1 安装Hadoop,Hive2.1.2 准备Impala的所有依赖包2.2 安......
2023-11-11 18:11 阅读
阅读全文 网友收藏 文章浏览阅读1.7k次。一、错误描述:Exception in thread "main" org.apache.spark.SparkException: Application application_1479132065716_00原因:我的是JDK版本过高,使用spark2.0.1+hadoop2.5.2+hive0.13+JDK1.7没问题二、错误描述:Exception in thread_"xcept......
2024-01-24 04:33 阅读
阅读全文 网友收藏 文章浏览阅读370次。文章目录1 开始使用Scala1.1 在Linux下使用Scala1.2 在IDEA中配置Scala1 开始使用Scala1.1 在Linux下使用Scala在官网下载安装包,这里下载的是tgz包,如果是下载在本地,想上传到服务器,则使用如下指令。$ scp scala-2.13.......
2024-01-22 16:43 阅读
阅读全文