qq_33422396 2018-10-11 23:43 采纳率: 0%
浏览 985

java怎么实现将一个数据分段放入不同的服务器?

有一个很大的数组,一台机器上申请内存,内存不够,要在多个服务器上申请。比如说一个8个元素的数组,要放到三台服务器上申请内存,然后在这三台服务器上分别进行计算,其中这三台服务器根据一定的规则有可能要进行通信。不用那些大数据的框架如spark应该怎么弄呢?

  • 写回答

3条回答 默认 最新

  • phoenix850121 2018-10-12 00:13
    关注

    redis就是针对这种情况产生的。不用大数据,自己实现难度很高。

    评论
  • qq_33422396 2018-10-12 00:19
    关注

    redis的那个结合spark已经搞到一半,领导说不用redis和任何大数据框架了。可以用zookeeper结合MQ实现吗?zookeeper可以将数据分布式存储在不同的服务器上然后按服务器的机器号自定义数据吗?

    评论
  • threenewbee 2018-10-12 01:25
    关注

    无论你自己写,还是用框架,都是map-reduce两个部分,也就是把任务分配到每个计算机,这个叫做map,把结果汇总,这个叫做reduce。
    需要注意的是,如果你把数据从host分发过去,这个非常耗时。因为网络通讯可不是内存。比如你要传100gb数据,就要好几个小时了。那么你应该考虑尽量减少网络开销,否则还不如一台机器算

    评论
编辑
预览

报告相同问题?

悬赏问题

  • ¥15 web前端的小问题。各位看看
  • ¥15 有关汽车的MC9S12XS128单片机实验
  • ¥15 求c语言动态链表相关课程有偿,或能将这块知识点讲明白
  • ¥15 FLKT界面刷新异常
  • ¥15 物体双站RCS和其组成阵列后的双站RCS关系验证
  • ¥50 单细胞测序拟时序分析
  • ¥50 运行springboot项目报错
  • ¥15 FTP 站点对站点传输失败
  • ¥15 宝塔面板一键迁移使用不了
  • ¥15 求一个按键录像存储到内存卡的ESP32CAM代码
手机看
程序员都在用的中文IT技术交流社区

程序员都在用的中文IT技术交流社区

专业的中文 IT 技术社区,与千万技术人共成长

专业的中文 IT 技术社区,与千万技术人共成长

关注【CSDN】视频号,行业资讯、技术分享精彩不断,直播好礼送不停!

关注【CSDN】视频号,行业资讯、技术分享精彩不断,直播好礼送不停!

客服 返回
顶部