关注
关注 - 堆外内存主要用于存储 Spark 任务的中间结果和缓存,这些结果通常比内存中的数据更大,因此需要使用堆外内存来存储。
- 对于大型数据集和广播变量,Spark 可能会使用堆外内存来存储它们,这可以提高性能并减少内存使用;当 Spark 运行时的内存不足时,会使用堆外内存来存储任务的中间结果和缓存。
本回答被题主选为最佳回答 , 对您是否有帮助呢? 本回答被专家选为最佳回答 , 对您是否有帮助呢? 本回答被题主和专家选为最佳回答 , 对您是否有帮助呢?
解决
无用
评论
打赏
微信扫一扫 点击复制链接
分享 举报