wenjunlong88_easy 2018-07-08 20:20 采纳率: 80%
浏览 961
已采纳

大数据运行在内存中产生的中间数据一般有多大?

在linux系统上,大数据运行在内存中产生的中间数据一般有多大?最大会达到1个T吗?
一般最大值控制在什么范围合适?望各位有经验的大佬不吝赐教!

  • 写回答

5条回答 默认 最新

  • cyq11512 2018-07-08 23:18
    关注

    运行内存是可以设置的,以运行一个spark作业为例,提交作业时可以执行本次作业所需要的总共cpu核心数和总共的内存数,作业提交后spark 的 sparkContext 会向集群申请分配资源,集群会最大限度的提供资源,当然也存在申请90核心,集群只分配了70核心的情况。所以大数据运算的内存控制主要是看你的集群有多少资源,你愿意使用多少资源。

    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论
查看更多回答(4条)
编辑
预览

报告相同问题?

悬赏问题

  • ¥100 二维码被拦截如何处理
  • ¥15 怎么解决LogIn.vue中多出来的div
  • ¥15 优博讯dt50巴枪怎么提取镜像
  • ¥30 在CodBlock上用c++语言运行
  • ¥15 求C6748 IIC EEPROM程序固化烧写算法
  • ¥50 关于#php#的问题,请各位专家解答!
  • ¥15 python 3.8.0版本,安装官方库ibm_db遇到问题,提示找不到ibm_db模块。如何解决?
  • ¥15 TMUXHS4412如何防止静电,
  • ¥30 Metashape软件中如何将建模后的图像中的植被与庄稼点云删除
  • ¥20 机械振动学课后习题求解答
手机看
程序员都在用的中文IT技术交流社区

程序员都在用的中文IT技术交流社区

专业的中文 IT 技术社区,与千万技术人共成长

专业的中文 IT 技术社区,与千万技术人共成长

关注【CSDN】视频号,行业资讯、技术分享精彩不断,直播好礼送不停!

关注【CSDN】视频号,行业资讯、技术分享精彩不断,直播好礼送不停!

客服 返回
顶部