Spark环境中Python和Scala对比_spark scala python-CSDN博客

网站介绍:文章浏览阅读1.3k次,点赞2次,收藏6次。Spark环境中Python和Scala对比1.性能对比由于Scala是基于JVM的数据分析和处理,Scala比Python快10倍。当编写Python代码用且调用Spark库时,性能是平庸的,但如果程序涉及到比Python编码还要多的处理时,则要比Scala等效代码慢得多。Python解释器PyPy内置一个JIT(及时)编译器,它很快,但它不提供各种Python C扩展支持。在这样的情况下,对库的C扩展CPython解释器优于PyPy解释器。使用Python在Spark的性能开销超过Scala,但其_spark scala python