网站介绍:文章浏览阅读397次。1.数据序例化用Kryo序例化代替默认的java序例化,java序例化的优点是灵活,能序例化任何实现了接口java.io.Serializable的类;缺点是执行速度慢,序例化的结果占用字节数大;Kryo序例化速度快,序例化结果占用字节小(一般只有前者的十分之一),缺点是不支持所有可序例化类型并且要求用户注册程序中用到的需要序例化的类型开启Kryo序例化:val conf = new_spark控制最终设置最终的分区数
- 链接地址:https://blog.csdn.net/cm_chenmin/article/details/52758191
- 链接标题:spark性能调优_spark控制最终设置最终的分区数-CSDN博客
- 所属网站:blog.csdn.net
- 被收藏次数:9640
- 网站标签:spark控制最终设置最终的分区数