spark中local模式与cluster模式使用场景_Spark数据分析之pyspark-CSDN博客

网站介绍:文章浏览阅读517次。慕课笔记一、大数据简史,从hadoop到Spark1.hadoop的出现:(1)问题:1990年,电商爆发以及机器产生了大量数据,单一的系统无法承担(2)办法:为了解决(1)的问题许多公司,尤其是大公司领导了普通硬件集群的水平扩展(3)执行:hadoop应运而生2.spark的出现:(1)hadoop面临问题: - 硬件瓶颈:多年来,内存技术突飞猛进,而硬盘技术没有太大的变化..._stage mode cluster