Spark之路:(一)Scala + Spark + Hadoop环境搭建_hadoop scala spark-CSDN博客

网站介绍:文章浏览阅读1.6w次,点赞7次,收藏24次。一、Spark 介绍 Spark是基于内存计算的大数据分布式计算框架。Spark基于内存计算,提高了在大数据环境下数据处理的实时性,同时保证了高容错性和高可伸缩性,允许用户将Spark部署在大量廉价硬件之上,形成集群。1.提供分布式计算功能,将分布式存储的数据读入,同时将任务分发到各个节点进行计算;2.基于内存计算,将磁盘数据读入内存,将计算的中间结果保存在内存,这样可以很好的进_hadoop scala spark