大数据运行在内存中产生的中间数据一般有多大？

Question

在linux系统上，大数据运行在内存中产生的中间数据一般有多大？最大会达到1个T吗？
一般最大值控制在什么范围合适？望各位有经验的大佬不吝赐教！

Answer 1

运行内存是可以设置的，以运行一个spark作业为例，提交作业时可以执行本次作业所需要的总共cpu核心数和总共的内存数，作业提交后spark 的 sparkContext 会向集群申请分配资源，集群会最大限度的提供资源，当然也存在申请90核心，集群只分配了70核心的情况。所以大数据运算的内存控制主要是看你的集群有多少资源，你愿意使用多少资源。