Fary_Younger 2016-10-18 07:17 采纳率: 0%
浏览 1014
已结题

关于spark企业级集群部署问题

我是某高校软件工程研一的学生，目前老师手头有一个关于spark的商业项目，然后要我了解企业搭建spark集群的一个硬件条件是什么比如磁盘要求？内存要求？还有计算能力方面有没有什么要注意的？我也是初学者，是小白，在查资料发现也没有这方面信息，只好跑来问问各位大神有没有做过这方面开发的？最好做过企业方面开发搭建的，谢谢了
项目是一个spark机器学习平台，对内要求是实现训练数据达到TB级别的模型训练，过程中参数可能会达到10的9次方到12次方。。

  • 写回答

1条回答 默认 最新

  • SeaTalks 2016-10-18 10:52
    关注

    大数据分布式系统设计的初衷就是用普通的商用机集群去解决大数据强计算的任务而不是追求单台机器的性能超级优越

    评论

报告相同问题？

悬赏问题

  • ¥15 HFSS 中的 H 场图与 MATLAB 中绘制的 B1 场 部分对应不上
  • ¥15 如何在scanpy上做差异基因和通路富集？
  • ¥20 关于#硬件工程#的问题，请各位专家解答！
  • ¥15 关于#matlab#的问题：期望的系统闭环传递函数为G(s)=wn^2/s^2+2¢wn+wn^2阻尼系数¢=0.707，使系统具有较小的超调量
  • ¥15 FLUENT如何实现在堆积颗粒的上表面加载高斯热源
  • ¥30 截图中的mathematics程序转换成matlab
  • ¥15 动力学代码报错，维度不匹配
  • ¥15 Power query添加列问题
  • ¥50 Kubernetes&Fission&Eleasticsearch
  • ¥15 報錯：Person is not mapped，如何解決？