╭⌒若隐_RowYet——大数据擅长Hadoop Hive,ElasticSearch,MacOS&Linux&Shell,等方面的知识,╭⌒若隐_RowYet——大数据关注hive,spark,hadoop,etl领域....
2023-10-13 08:59 阅读 阅读全文一、DataNode(1)一个数据块在 DataNode 上以文件形式存储在磁盘上,包括两个文件,一个是数据 本身,一个是元数据包括数据块的长度,块数据的校验和,以及时间戳。(2)DataNode 启动后向 NameNode 注册,通过后,周期性(6 小时......
2023-10-11 14:37 阅读 阅读全文文章浏览阅读2.6k次,点赞8次,收藏7次。首先大数据本身是个很宽泛的概念,Hadoop生态圈(或者泛生态圈)基本上都是为了处理超过单机尺度的数据处理而诞生的。你可以把它比作一个厨房所以需要的各种工具。锅碗瓢盆,各有各......
2024-01-22 21:35 阅读 阅读全文文章浏览阅读136次。2) 当HBase中不存在表时,可以直接使用create table指令创建需要的表,系统将会自动在Phoenix和HBase中创建person_infomation的表,并会根据指令内的参数对表结构进行初始化。1) 当HBase中已经存在表时,可以以类似......
2024-01-23 12:04 阅读 阅读全文文章浏览阅读431次。摘要: 主要基于三台机器之上的hadoop2.7.3的下载、安装,及相关参数配置,所遇问题,Demo等。其中配置,包含hadoop运行环境,yarn运行环境配置,目的是搭建成基于yarn之上的RM运行环境,另外,也对资源限制......
2024-01-24 06:38 阅读 阅读全文文章浏览阅读977次。(下面所有操作都要建立在安装过JDK的基础上)请到官网下载最新版本的scala、hadoop和spark,移动至/usr/local文件夹。一、安装Scala1、解压2、重命名3、编辑/etc/profile在底部添加export PATH=/usr/local/scala/bin:$PATH4、......
2024-01-22 21:47 阅读 阅读全文文章浏览阅读6.8k次,点赞9次,收藏50次。大数据技术之Hadoop1. 概念1.1 Hadoop是什么?1.2 Hadoop发展历史10.3 Hadoop的三大发行版本1.4 Hadoop优势(4高)1.5 Hadoop组成,1.x 2.x 3.x区别(重点)1.5.1 HDFS架构概述1.5.2 YARN架构概述1.5.3 MapReduce架......
2024-01-22 17:45 阅读 阅读全文文章浏览阅读531次。自定义输出和输入类型介绍我们在使用MapReduce处理需要两次聚合的数据时,我们会进行两次输出,第二次输出的结果是读取第一次输出的结果进程聚合处理的,但我们只需要看到第二次的聚合的结果就可以了,第......
2024-01-23 02:49 阅读 阅读全文这年头从事数据行业很不赖。用人需求量之大达到创记录的水平,薪资也水涨船高。几乎任何数据认证都会让你的薪资涨一涨。本文介绍了哪几大数据认证可以让你稳赚丰厚薪水。顶级数据技能拿顶薪你是不是在想:为获得那下......
2023-10-12 10:50 阅读 阅读全文文章浏览阅读321次。Hadoop和Spark是大数据生态系统中流行的apache项目。Apache Spark是对hadoop大数据生态系统的原始Hadoop MapReduce组件的改进。Apache Spark令人兴奋,因为它在内存数据集的交互式数据查询以及多遍迭代机器学习算法中提......
2024-01-23 02:46 阅读 阅读全文