orcal库输出到Spark 平台经历SparkSql输出至hive仓库,内存膨胀,求解答? 5C

orcal数据库输出Spark平台经历Sparksql再输出至hive(或者中间经历与其他表的full join操作),在触发Action时,JVM的老年代内存会瞬间膨胀到1G多,甚至接近2G,而用其他数据源,比如hive输入,再full join或者hive输出,就不会出现这样的内存瞬间膨胀的问题(监控中显示只有几十M在老年代里面),请问大神,这是为什么?

Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!
立即提问
相关内容推荐