肆月之风 2014-08-12 09:17 采纳率: 0%
浏览 691
已采纳

Hadoop如何实现将计算逻辑分发到各个子节点上的

在研究了一段hadoop后，对hadoop的分布式架构有了一定的了解，都知道移动计算比移动数据效率更高，那么hadoop是如何将计算移动到各个节点上进行计算的呢？我猜想是将计算的逻辑和其依赖的包都分发到了各个节点上，然后再在各自的节点上进行计算，不知道是不是这样，希望大家能把细节补充的更完善。

  • 写回答

4条回答 默认 最新

  • flyfoxs 2014-08-12 14:21
    关注

    Hadoop 的NameNode 知道集群的计算资源分布,数据存储分布.

    在分布任务的时候,需要对数据进行切分,然后进行计算. 这个时候分配就需要考虑数据的存储位置.

    Hadoop会尽量将计算分布到数据存储的节点上.
    如果存储的节点没用资源,比如CPU完全被占用.那会尽量将计算分布到数据存贮节点相同机架上的节点进行计算.
    最后如果还是没办法做到,那就只能随机的选取一个节点了.

    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论
查看更多回答(3条)

报告相同问题？

悬赏问题

  • ¥15 YoloV5 第三方库的版本对照问题
  • ¥15 请完成下列相关问题！
  • ¥15 drone 推送镜像时候 purge: true 推送完毕后没有删除对应的镜像,手动拷贝到服务器执行结果正确在样才能让指令自动执行成功删除对应镜像，如何解决？
  • ¥15 求daily translation（DT）偏差订正方法的代码
  • ¥15 js调用html页面需要隐藏某个按钮
  • ¥15 ads仿真结果在圆图上是怎么读数的
  • ¥20 Cotex M3的调试和程序执行方式是什么样的？
  • ¥20 java项目连接sqlserver时报ssl相关错误
  • ¥15 一道python难题3
  • ¥15 牛顿斯科特系数表表示