Spark | 基于源码解析SparkSession初始化过程_sparksession和sparksql初始化环境-CSDN博客

网站介绍:文章浏览阅读2.8k次,点赞3次,收藏5次。Spark.version: 2.4.4Apache Spark 2.0引入了SparkSession,其为用户提供了一个统一的切入点来使用Spark的各项功能,例如不再需要显式地创建SparkConf, SparkContext 以及 SQLContext,因为这些对象已经封装在SparkSession中。另外SparkSession允许用户通过它调用DataFrame和Dataset相关API来编写Spark程序。其次SparkSession通过生成器设计模式(Builder Design Pa_sparksession和sparksql初始化环境