sqoop生产常见问题及优化总结_sqoop问题-CSDN博客

网站介绍:0 引 言sqoop作为一种重要的数据同步工具,在大数据中具有重要地位。本文对Sqoop生产中遇到的常见问题进行总结并给出具体的解决方案。1 生产常见的问题(1)Sqoop 空值问题 Hive中的Null在底层是以“\N”来存储,而MySQL中的Null在底层就是Null,这就导致了两边同步数据时存储不一致问题。Sqoop在同步的时候应该严格保证两端的数据格式、数据类型一致,否则会带来异常。 方案 1:依赖自身参数 1)导出数据时采用--input-null-string..._sqoop问题