渐行渐远渐无书 2021-05-26 16:07 采纳率: 0%
浏览 44

spark 堆外内存作用,何时会用到?

spark 各个内存用处 ?

OOM 如何判定是哪部分内存溢出?

  • 写回答

1条回答 默认 最新

  • 天`南 2023-05-10 16:45
    关注
    1. 堆外内存主要用于存储 Spark 任务的中间结果和缓存,这些结果通常比内存中的数据更大,因此需要使用堆外内存来存储。
    2. 对于大型数据集和广播变量,Spark 可能会使用堆外内存来存储它们,这可以提高性能并减少内存使用;当 Spark 运行时的内存不足时,会使用堆外内存来存储任务的中间结果和缓存。
    评论

报告相同问题?

悬赏问题

  • ¥15 求差集那个函数有问题,有无佬可以解决
  • ¥15 【提问】基于Invest的水源涵养
  • ¥20 微信网友居然可以通过vx号找到我绑的手机号
  • ¥15 寻一个支付宝扫码远程授权登录的软件助手app
  • ¥15 解riccati方程组
  • ¥15 display:none;样式在嵌套结构中的已设置了display样式的元素上不起作用?
  • ¥15 使用rabbitMQ 消息队列作为url源进行多线程爬取时,总有几个url没有处理的问题。
  • ¥15 Ubuntu在安装序列比对软件STAR时出现报错如何解决
  • ¥50 树莓派安卓APK系统签名
  • ¥65 汇编语言除法溢出问题