spark性能调优_spark控制最终设置最终的分区数-CSDN博客

网站介绍:文章浏览阅读397次。1.数据序例化用Kryo序例化代替默认的java序例化,java序例化的优点是灵活,能序例化任何实现了接口java.io.Serializable的类;缺点是执行速度慢,序例化的结果占用字节数大;Kryo序例化速度快,序例化结果占用字节小(一般只有前者的十分之一),缺点是不支持所有可序例化类型并且要求用户注册程序中用到的需要序例化的类型开启Kryo序例化:val conf = new_spark控制最终设置最终的分区数