文章浏览阅读1k次。1、概述MapReduce 是一个分布式运算程序的编程框架,是用户开发“基于 Hadoop 的数据分析应用”的核心框架。 MapReduce 核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的 分布式运算程序,......
2024-01-22 17:05 阅读 阅读全文大数据:Hadoop基础常识hive,hbase,MapReduce,SparkHadoop是根据Google三大论文为基础研发的,Google 三大论文分别是: MapReduce、 GFS和BigTable。Hadoop的核心是两个部分:一、分布式存储(HDFS,Hadoop Distributed File System)。二、分布式计算(......
2023-10-10 03:07 阅读 阅读全文文章浏览阅读1.7k次,点赞4次,收藏12次。大数据:Hadoop基础常识hive,hbase,MapReduce,SparkHadoop是根据Google三大论文为基础研发的,Google 三大论文分别是: MapReduce、 GFS和BigTable。Hadoop的核心是两个部分:一、分布式存储(HDFS,Hadoo......
2024-01-22 21:34 阅读 阅读全文文章浏览阅读941次。大数据1、概念 大数据:指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息......
2024-01-22 17:05 阅读 阅读全文文章浏览阅读655次。Hadoop原理篇前言IT技术的学习就像武侠中练武功一样,练武不练功到老一场空。阳哥教育我们,不要单纯的做API调用工程师,学一些不易变的原理,做一个有内涵的程序员。正文什么是Hadoop?Hadoop是一个由Apac......
2024-01-23 08:29 阅读 阅读全文一、HDFS1. HDFS的本质是一个文件系统,特点是分布式,需要在多台机器启动多个NN,DN进程组成一个分布式系统2. HDFS不支持对一个文件的并发写入,也不支持对文件的随机修改,不适合存储小文件(存储小文件时会降低NN的服务能力)......
2023-10-09 22:56 阅读 阅读全文一、HDFS体系结构1.1 HDFS 简介Hadoop分布式文件系统 (HDFS) 是运行在通用硬件(commodity hardware)上的分布式文件系统(Distributed File System)。它和现有的分布式文件系统有很多共同点。但同时,它和其他的分布式文件系统的区别也是很......
2023-10-11 14:40 阅读 阅读全文