文章浏览阅读1.5k次。HDFSHadoop 分布式文件系统(Hadoop Distributed File System,HDFS)是 Hadoop核心组件之一,如果已经安装了Hadoop,其中就已经包含了HDFS 组件,不需要另外安装。启动hadoop在学习HDFS编程实践前,我们需要启动Hadoop。执......
2024-01-25 06:53 阅读 阅读全文文章浏览阅读307次。(1) 配置免密登录 node01->node01① ssh-keygen -t rsa (此处一路回车即可)② ssh-copy-id -i ~/.ssh/id_rsa.pub root@node01(2) 配置JDK再次之前先检查系统中是否有已安装好的jdk:java -version若以后jkd版本要先卸载掉,方......
2024-01-22 16:15 阅读 阅读全文文章浏览阅读7.7k次,点赞7次,收藏44次。教程目录0x00 教程内容0x01 Hadoop的获取1. 官网下载2. 添加微信:shaonaiyi8883. 关注公众号:邵奈一0x02 上传安装包到集群1. 上传安装包到虚拟机0x02 安装与配置Hadoop1. 解压Hadoop2. 配置Hadoop3. 同......
2024-01-25 06:54 阅读 阅读全文文章浏览阅读8k次,点赞8次,收藏10次。文章目录1.准备工作2.开始安装获取hadoop安装包官方文档修改环境变量修改配置文件3.格式化HDFS4.开启HDFS关闭防火墙 并永久关闭(关闭开机自启)1.准备工作创建一个LInux虚拟机并安装CentOS6.9......
2024-01-25 06:54 阅读 阅读全文文章浏览阅读2.5k次。Hadoop学习笔记[2]-HDFS安装部署流程1、必备软件 1-1 java(最好是1.8及其以上,but1.8以上只有open jdk了) 1-2 ssh软件,免密登录需要具体怎么配置网络上搜吧 直接在官网上搜就行了【https://hadoop.apache.org......
2024-01-25 06:53 阅读 阅读全文1.4台服务器:node01 node02 node03 node04node01上有namenodenode02上有放有secondarynamenode和datanodenode03、node04上有datanode2.4台服务器配置好jdk3.设置4台服务器的网络:cd /etc/sysconfig/network-scripts/ vi ifcfg-eth0......
2023-10-10 04:17 阅读 阅读全文文章浏览阅读3k次。一:官网下载地址hadoop3.3.2官网地址二:上传虚拟机。解压tar -axvf hadoop-3.2.2.tar.gz三:修改配置文件修改hadoop-env.sh ,配置Java环境。cd /etc/hadoop/hadoop-3.2.2/etc/hadoopvim hadoop-env.sh根据自己环境的java路径来填写。启......
2024-01-25 06:54 阅读 阅读全文文章浏览阅读2.5k次。目录准备第一步 设置主机名第二步 设置网络IP第三步 添加主机名和IP的映射关系第四步 关闭防火墙第五步 创建hadoop用户第六步 在master主机上下载hadoop3.1.4、jdk1.8第七步 添加环境变量第八步 设置免密登录第......
2024-01-25 06:54 阅读 阅读全文文章浏览阅读1w次,点赞2次,收藏4次。HDFS是一个分布式文件系统,安装完成之后使用起来类似于本地文件系统,但是它是一个网络文件系统,所以访问这种文件系统的方式和访问本地文件系统的方式还是有所差别的(本地文件......
2024-01-25 06:54 阅读 阅读全文文章浏览阅读658次,点赞2次,收藏2次。LZO压缩yum install lzopCDH6.3.2_hdfs 压缩 配置 cdh...
2024-01-23 04:45 阅读 阅读全文