资源浏览查阅77次。spark基础讲解Spark迭代式计算框架更多下载资源、学习资料请访问CSDN文库频道....
2024-01-24 00:49 阅读 阅读全文文章浏览阅读441次。一、大数据实时计算框架1、什么是实时计算?流式计算? 举例:自来水厂处理自来水(特点:持续性、流式计算))2、对比:离线计算和流式计算 (*)离线计算:MapReduce和Spark Core, 数据的批量处理(Sqoop-......
2024-01-23 01:14 阅读 阅读全文文章浏览阅读1k次,点赞4次,收藏3次。MapReduce是一种编程模型,用于大规模数据集(大于1TB)的并行运算。概念"Map(映射)“和"Reduce(归约)”,是它们的主要思想,都是从函数式编程语言里借来的,还有从矢量编程......
2024-01-22 16:58 阅读 阅读全文文章浏览阅读8.7w次,点赞1k次,收藏4.1k次。我之前里的文章,写的大部分都是与计算机基础知识相关的,这些基础知识,就像我们的内功,如果在未来想要走的更远,这些内功是必须要修炼的。框架千变万化,而这些通用的底......
2024-01-24 13:41 阅读 阅读全文Hadoop系列文章目录大数据框架Hadoop(一):HDFS分布式文件系统(上)大数据框架Hadoop(二):HDFS分布式文件系统(下)大数据框架Hadoop(三):计算框架MapReduce(上)文章目录Hadoop系列文章目录前言一、MapReduce是什么?1. mapreduce的定义2.mapredu......
2023-10-11 14:47 阅读 阅读全文文章浏览阅读203次。文章目录什么是flink运行架构计算框架运行模式什么是flink一个框架和分布式处理引擎,用于对无界和有界数据流进行有状态计算。Flink设计为在所有常见的集群环境中运行,以内存速度和任何规模执行计算。......
2024-01-23 23:36 阅读 阅读全文百度百科是一部内容开放、自由的网络百科全书,旨在创造一个涵盖所有领域知识,服务所有互联网用户的中文知识性百科全书。在这里你可以参与词条编辑,分享贡献你的知识。...
2024-03-25 08:33 阅读 阅读全文使用Storm和Trident进行实时趋势分析(一),STORM启动与部署TOPOLOGY,Twitter Storm: 在生产集群上运行topology【topology级的配置】...
2024-01-24 07:25 阅读 阅读全文JAVA道人擅长JAVA基础,框架技术-----------------,计算机知识,等方面的知识,JAVA道人关注mysql领域....
2023-10-12 12:12 阅读 阅读全文shuffle阶段数据的压缩机制,MapReduce一次读取多个文件(获取数据所在文件的名称),如何能让Map端和Reduce端达到最优?...
2024-01-23 01:45 阅读 阅读全文