文章浏览阅读4.6k次,点赞30次,收藏19次。 大家好,我是不温卜火,昵称来源于成语—不温不火,本意是希望自己性情温和。作为一名互联网行业的小白,博主写博客一方面是为了记录自己的学习过程,另一方面是总结自己......
2024-01-24 06:00 阅读 阅读全文文章浏览阅读802次。1.添加sudo权限的无密码访问的hadoop用户(1)[root@hadoop001 ~]# useradd hadoop(2)跟着修改/etc/sudoers文件, vi /etc/sudoers 用命令cat /etc/sudoers |grep hadoop 查看一下结果 (3)切换用户:su - ha..._2.6......
2024-01-23 20:40 阅读 阅读全文文章浏览阅读503次。@[toc]1. hadoop它是一个分布式计算+分布式文件系统,前者其实就是 MapReduce,后者是 HDFS 。后者可以独立运行,前者可以选择性使用,也可以不使用2. hive通俗的说是一个数据仓库,仓库中的数据是被hdfs管理的......
2024-01-22 21:35 阅读 阅读全文文章浏览阅读477次。伪分布式:只需要一个虚拟机,所有节点都在该虚拟机上1.首先,需要安装JDK,将上传的jdk解压tar -zxvf jdk压缩包2.配置环境变量,位置:/etc/profileexport JAVA_HOME=/opt/software/jdk1.8.0_121export PATH=$PATH:$JAVA_HOME/bin注:......
2024-01-23 09:28 阅读 阅读全文小坏讲微服务擅长小坏讲java基础,小坏讲后端,小坏讲大数据(Hadoop) 第一阶段 ,等方面的知识,小坏讲微服务关注hive,storm,spark,hadoop,etl领域....
2023-10-10 03:05 阅读 阅读全文文章浏览阅读141次。好程序员大数据培训分享Hadoop的shuffle过程,对大数据感兴趣想要学习或者是想要加入到大数据行业的小伙伴们就随小编一起来看一下吧。 Hadoop的shuffle过程就是从map端输出到reduce端输入之间的过程,这一......
2024-01-23 07:21 阅读 阅读全文文章浏览阅读1.9k次,点赞3次,收藏16次。1 Zookeeper正常部署首先保证Zookeeper集群的正常部署,并启动之:使用自定义脚本启动: zk start2 Hadoop正常部署Hadoop集群的正常部署并启动: sbin/start-dfs.sh sbin/start-yarn.sh3 HBase的解压解压Hbase......
2024-01-24 05:56 阅读 阅读全文文章浏览阅读1.9k次,点赞3次,收藏16次。1 Zookeeper正常部署首先保证Zookeeper集群的正常部署,并启动之:使用自定义脚本启动: zk start2 Hadoop正常部署Hadoop集群的正常部署并启动: sbin/start-dfs.sh sbin/start-yarn.sh3 HBase的解压解压Hbase......
2024-01-24 05:57 阅读 阅读全文文章浏览阅读1.9k次,点赞3次,收藏16次。1 Zookeeper正常部署首先保证Zookeeper集群的正常部署,并启动之:使用自定义脚本启动: zk start2 Hadoop正常部署Hadoop集群的正常部署并启动: sbin/start-dfs.sh sbin/start-yarn.sh3 HBase的解压解压Hbase......
2024-01-24 05:57 阅读 阅读全文一、集群配置1. 如何规划hadoop中的进程HDFS : 有一个NN(namenode)和 N个DN(datanode),2NN(second namenode )也可以有N个辅助NN工作YARN : 有一个 RM(resoureManager) 和 N 个NM (nodemanager)避免单点故障,NN和RM建议分散到多台机器, 我们现......
2023-10-09 22:56 阅读 阅读全文