SparkSQL Dataset的创建_org.apache.spark.sql.dataset在那个包里-CSDN博客

网站介绍:文章浏览阅读603次。Spark SQL架构Spark SQL是Spark的核心组件之一(2014.4 Spark1.0)能够直接访问现存的Hive数据提供JDBC/ODBC接口供第三方工具借助Spark进行数据处理提供了更高层级的接口方便地处理数据支持多种操作方式:SQL、API编程支持多种外部数据源:Parquet、JSON、RDBMS等Catalyst优化器是Spark SQL的核心Dataset的创建创建方式一:val dt=spark.createDataset(1 to 5)dt.show_org.apache.spark.sql.dataset在那个包里