Spark 3.x 版本的 Table Catalog API 是怎样的?_spark3 datasource-CSDN博客

网站介绍:文章浏览阅读1.1k次,点赞2次,收藏2次。原文本文翻译自《SPIP: Spark API for Table Metadata》背景和动机DataSource v2 是用来读取和写入数据的新型 API ,旨在支持更多外部数据存储,并且可以更灵活地集成这些存储。关于 DataSource v2 请参考我的博客——Spark DataSource API v2 版本有哪些改进?v1 版本和 v2 版本有什么区别?但是,v2 API目前缺少该集成的关键部分:在外部存储中创建,更改和删除表的方法。SQL 和 DataFrames 都支持 C_spark3 datasource