Spark的性能调优_spark usegcoverheadlimit-CSDN博客

网站介绍:文章浏览阅读659次。下面这些关于Spark的性能调优项,有的是来自官方的,有的是来自别的的工程师,有的则是我自己总结的。Data Serialization,默认使用的是Java Serialization,这个程序员最熟悉,但是性能、空间表现都比较差。还有一个选项是Kryo Serialization,更快,压缩率也更高,但是并非支持任意类的序列化。Memory Tuning,Java对象会占用原始_spark usegcoverheadlimit