基础环境:Centos 7.7参考:VMware虚拟机安装详细教程网络NAT、网桥配置安装包、源码包下载地址https://archive.apache.org/dist/hadoop/common/hadoop-3.3.0/为什么要重新编译Hadoop源码?匹配不同操作系统本地库环境,Hadoop某些操作比如压缩、IO需......
2023-10-11 14:25 阅读 阅读全文Hadoop1.x与Hadoop2.x的区别前言 首先我们得明确Hadoop框架所解决的最核心的2个问题:海量数据的存储和计算。在存储上,Hadoop实现了自己的分布式文件系统 HDFS(Hadoop Distributed File System);在计算上,Hadoop使用了分布式离线计算框......
2023-10-11 14:26 阅读 阅读全文文章浏览阅读216次。方案规划 方案,版本 三个集群 软件版本基本配置软件安装软件公共配置(复制虚拟镜像)软件特定配置集群初始化测试_大数据2.0配置...
2024-01-23 11:20 阅读 阅读全文要实现对大数据的处理,大数据处理技术是最关键的部分,而行业发展所需要的专业人才,就是掌握大数据技术,能够解决实际数据问题的人才。主流的大数据技术框架当中,Hadoop的通用,是得到行业普遍认可的。今天的大数据......
2023-10-11 14:26 阅读 阅读全文文章浏览阅读10w+次,点赞116次,收藏718次。海量数据的存储问题很早就已经出现了,一些行业或者部门因为历史的积累,数据量也达到了一定的级别。很早以前,当一台电脑无法存储这么庞大的数据时,采用的解决方案是使用NF......
2024-01-23 22:57 阅读 阅读全文文章浏览阅读8.7k次,点赞29次,收藏105次。1. 大数据的特点(4V特征)Volume(大数据量):90% 的数据是过去两年产生 Velocity(速度快):数据增长速度快,时效性高 Variety(多样化):数据种类和来源多样化 结构化数据、半结构化数据、......
2024-01-22 17:39 阅读 阅读全文文章浏览阅读238次。相信看这篇文章的你们,都和我一样对Hadoop和Apache Spark的选择有一定的疑惑,今天查了不少资料,我们就来谈谈这两种 平台的比较与选择吧,看看对于工作和发展,到底哪个更好。一、Hadoop与Spark1.SparkSpark是......
2024-01-23 10:48 阅读 阅读全文非科班大数据工程师擅长大数据,编程语言,hadoop,等方面的知识...
2023-10-11 21:51 阅读 阅读全文CLOUD 005大数据 、 Hadoop 、 Hadoop安装与配置 、 HDFS一 什么是大数据<了解背景>1 随着计算机技术发展,互联网普及,信息积累到了一个庞大底部,信息增长也在不断加快,物联网,互联网建设加快,信息更是爆炸增长,造成......
2023-10-11 14:31 阅读 阅读全文