spark内存管理_释放sparksession执行完占用的内存-CSDN博客

网站介绍:文章浏览阅读200次。一.spark内存管理只堆内存/堆外内存前世今生1.堆内存和对外内存作为jvm进程,executor的内存管理建立在jvm之上,spark对jvm的堆内空间进行了更为详细的分配,以充分利用内存,1.1堆内存的大小堆内存的大小,由spark应用程序启动的xexcuto-memory或spark-executor-memory参数配置,Executor内运行的并发任务共享JVM堆内内存,这些任务在缓存RDD和广播(Broadcast)数据时占用的内存被规划为存储(Storage)内存,而这些任务_释放sparksession执行完占用的内存