文章浏览阅读1.8k次,点赞2次,收藏9次。一、Hadoop简介 Hadoop是由java语言编写的,在分布式服务器集群上存储海量数据并运行分布式分析应用的开源框架,其核心部件是HDFS与MapReduce。HDFS是一个分布式文件系统:引入存放文件元......
2024-01-22 22:03 阅读 阅读全文文章浏览阅读1.3k次,点赞6次,收藏4次。MapReduce是Hadoop的核心组件之一,是一种并行编程模型,用于大规模数据集(TB级别)的并行计算。MapReduce框架将并行计算抽象成为两个函数:Map和Reduce。Hadoop MapReduce是基于HDFS的分布式编......
2024-01-24 07:22 阅读 阅读全文小雏菊的成长擅长大数据开发相关技术学习笔记,大数据开发平台搭建踩坑记录,大数据开发相关系统和框架的安装部署,等方面的知识,小雏菊的成长关注hive,python,数据仓库,scala,maven,golang,numpy,intellij-idea,分布式,pandas,flink,爬虫,java,el......
2023-10-11 14:50 阅读 阅读全文豌豆猫喵喵喵擅长大数据技术,开源框架,安全,等方面的知识,豌豆猫喵喵喵关注tensorflow,数据分析,深度学习,神经网络领域....
2023-10-11 14:35 阅读 阅读全文圣☞摧枯拉朽擅长java,ETL,大数据框架,等方面的知识,圣☞摧枯拉朽关注hive,spark,hadoop,etl领域....
2023-10-11 14:55 阅读 阅读全文文章浏览阅读2.2k次。一、什么是大数据大数据,IT行业术语,是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合(由数据组成的集合),是需要新处理模式才能具有更强的决策力、洞察发现力和流程优......
2024-01-22 20:13 阅读 阅读全文要实现对大数据的处理,大数据处理技术是最关键的部分,而行业发展所需要的专业人才,就是掌握大数据技术,能够解决实际数据问题的人才。主流的大数据技术框架当中,Hadoop的通用,是得到行业普遍认可的。今天的大数据......
2023-10-11 14:26 阅读 阅读全文文章浏览阅读481次。今天分享又来了呀。ღ( ´・ᴗ・` ) 一起学习进步ღゝ◡╹)ノ♡摘要:什么是jsonFastJson介绍FastJson序列化APIFastJson反序列化API加油,好好学习,天天向上..._fastjson框架...
2024-01-12 19:52 阅读 阅读全文文章浏览阅读441次。一、大数据实时计算框架1、什么是实时计算?流式计算? 举例:自来水厂处理自来水(特点:持续性、流式计算))2、对比:离线计算和流式计算 (*)离线计算:MapReduce和Spark Core, 数据的批量处理(Sqoop-......
2024-01-23 01:14 阅读 阅读全文