HDFS是Apache Hadoop项目的一部分,是一个分布式文件系统,用于存储和管理文件,能提高超大文件的访问和存储速度。HDFS采用一次写入多次读取的流式数据访问模式保证了数据的一致性。HDFS是一个高度容错性的系统,适合部署在......
2024-01-24 20:41 阅读 阅读全文文章浏览阅读566次。1. 什么是大数据?对大量的数据集文件处理的过程,称之为大数据(TB级以上)大量数据集:b—k---M—G---T—PB—EB—ZB 换算单位:10242. 为什么是大数据?通过对海量数据进行统计分析,从而在这些分析和统计......
2024-01-23 15:24 阅读 阅读全文大数据(078)Spark【Spark 源码分析----划分Stage】,大数据(077)Spark【Spark Streaming之Spark Streaming窗口机制】,大数据(076)Spark【Spark Streaming之Spark Streaming接收并处理Kafka数据】...
2024-01-23 17:49 阅读 阅读全文一、Hadoop源码编译支持Snappy压缩1资源准备1.CentOS联网配置CentOS能连接外网。Linux虚拟机ping www.baidu.com是畅通的注意:采用root角色编译,减少文件夹权限出现问题2.jar包准备(hadoop源码、JDK8 、maven、protobuf)(1)hadoop-2.7.2-src.tar.gz......
2023-10-09 22:57 阅读 阅读全文QYHuiiQ擅长java学习,java,大数据之Hadoop,等方面的知识,QYHuiiQ关注spring,java,elasticsearch,hadoop领域....
2023-10-11 21:07 阅读 阅读全文资源浏览查阅3093次。caibinbupt的Hadoop源码分析完整版,包括HDFS和MapReduce。HDFS基于Hadoop气象分析的大数据处理及可视化更多下载资源、学习资料请访问CSDN文库频道....
2023-11-12 03:14 阅读 阅读全文与光同尘~追光者擅长大数据-CDH,Hadoop,Linux,等方面的知识,与光同尘~追光者关注hive,spark,hadoop领域....
2023-10-13 06:57 阅读 阅读全文在最近的时间里,我听到了很多关于该主题的讨论。同样,这是一个非常受欢迎的问题,是由在“大数据”领域经验不足的客户提出的。实际上,我不喜欢这个含糊不清的流行语,但这就是客户通常会来找我们的原..._odps与传统m......
2023-10-11 14:26 阅读 阅读全文文章浏览阅读4.3w次,点赞177次,收藏724次。Hadoop的高频考点,必知必会!_hadoop3 yarn container resizing...
2024-01-22 14:22 阅读 阅读全文故明所以擅长大数据hadoop生态组件,Spark,java,等方面的知识,故明所以关注hive,storm,spark,hadoop,etl领域....
2023-10-10 03:31 阅读 阅读全文