网站介绍：文章浏览阅读1.3k次。Spark SQL为了更好的性能，在读写Hive metastore parquet格式的表时，会默认使用自己的Parquet SerDe，而不是采用Hive的SerDe进行序列化和反序列化。该行为可以通过配置参数spark.sql.hive.convertMetastoreParquet进行控制，默认true。这里从表schema的处理角度而言，就必须注意Hive和Parquet兼容性，主要有两个区别：Hive是大小写敏感的，但Parquet相反Hive会将所有列视为nullable，但是_spark.sql.hive.convertmetastoreparquet
- 链接地址：https://blog.csdn.net/qq_42164977/article/details/109475068
- 链接标题：SparkSQL与Hive metastore Parquet_spark.sql.hive.convertmetastoreparquet-CSDN博客
- 所属网站：blog.csdn.net
- 被收藏次数：5091
- 网站标签：spark.sql.hive.convertmetastoreparquet
