文章浏览阅读636次。Hadoop结构框架spark框架Spark各部件介绍Spark Core Spark生态圈的核心: 负责从HDFS, Amazon S3和HBase等持久层读取数据 在YARN和Standalone为资源管理器调度Job完成分布式计算包括两个重要部件有向无环图(DAG)的分布......
2024-01-24 10:32 阅读 阅读全文文章浏览阅读10w+次,点赞116次,收藏718次。海量数据的存储问题很早就已经出现了,一些行业或者部门因为历史的积累,数据量也达到了一定的级别。很早以前,当一台电脑无法存储这么庞大的数据时,采用的解决方案是使用NF......
2024-01-23 22:57 阅读 阅读全文文章浏览阅读670次。目录HDFS安装模式简介伪分布式安装环境安装搭建过程slaves文件配置格式化与启动案例演示全分布式安装配置静态IP和主机名配置配置/etc/hosts文件免密登录认证时间同步安装jdk和hadoop,并配置相关环境变量Hadoo......
2023-11-11 11:19 阅读 阅读全文Hadoop系列文章目录大数据框架Hadoop(一):HDFS分布式文件系统(上)大数据框架Hadoop(二):HDFS分布式文件系统(下)大数据框架Hadoop(三):计算框架MapReduce(上)文章目录Hadoop系列文章目录前言一、MapReduce是什么?1. mapreduce的定义2.mapredu......
2023-10-11 14:47 阅读 阅读全文大数据平台,Hadoop集群架构,概述及原理,通俗易懂,全程无废话。_hadoop集群框架...
2023-10-11 14:31 阅读 阅读全文开始聊MapReduce,MapReduce是Hadoop的计算框架,我学Hadoop是从Hive开始入手,再到hdfs,当我学习hdfs时候,就感觉到hdfs和mapreduce关系的紧密。这个可能是我做技术研究的思路有关,我开始学习某一套技术总是想着这套技术到底能干什......
2023-10-12 15:30 阅读 阅读全文作者:幻好 来源: 恒生LIGHT云社区 ..._恒生hdf...
2023-10-11 14:49 阅读 阅读全文文章浏览阅读134次。在Hadoop的学习当中,不管是自学还是在专业的大数据培训班学习,都需要对Hadoop整体的技术架构里的东西,都做到熟练掌握,这样才能在未来的工作上更加轻松应对。Hadoop技术体系庞杂,开始学习最好还是跟......
2024-01-22 14:27 阅读 阅读全文Hadoop框架HDFS NN、SNN、DN工作原理_hadoop jn nn dn...
2023-10-11 14:37 阅读 阅读全文