spark 堆外内存作用，何时会用到？

Question

spark 各个内存用处 ？

OOM 如何判定是哪部分内存溢出？

Answer 1

1. 堆外内存主要用于存储 Spark 任务的中间结果和缓存，这些结果通常比内存中的数据更大，因此需要使用堆外内存来存储。
2. 对于大型数据集和广播变量，Spark 可能会使用堆外内存来存储它们，这可以提高性能并减少内存使用；当 Spark 运行时的内存不足时，会使用堆外内存来存储任务的中间结果和缓存。