spark中处理dataframe往往遇到”...cannot be cast to ...”这种数据不匹配的问题_org.apache.spark.sql.types.stringtype$ cannot be c-CSDN博客

网站介绍:文章浏览阅读3.7w次,点赞3次,收藏6次。 spark处理dataframe数据时,往往遇到"...cannot be cast to ..."这种数据不匹配的问题,主要是因为我们代码中spark指定的数据类型和数据源类型不一致。这里以MySQL为数据源为例。一、读取数据格式匹配MySQL表的创建语句指定的数据类型有decimal、varchar、datetime等。CREATE TABLE `customfieldvalue` (..._org.apache.spark.sql.types.stringtype$ cannot be cast to org.apache.spark.sq