xiongfurui6 2015-06-05 03:51 采纳率: 0%
浏览 1636

怎么实现hadoop的并行化

现在分布式的hadoop已经搭建完成,在master节点上写并行代码,在master节点上运行,就可以实现代码的并行化吗?用不用在slave节点上写代码。谢谢

  • 写回答

2条回答

  • llx1943llx 2015-06-08 01:17
    关注

    这和master、slave一点关系都没。
    hadoop 的mapreduce之所以能并行,是因为数据分片的概念。数据被分片之后,每个可以由不同的节点去进行计算。
    你需要做的是写你的MapReduce程序,然后配置好hadoop集群(运行作业的时候打开yarn的监控页面查看世纪的运行状态),这就可以了。
    建议你先潜心看下书吧,基本概念的都没。

    评论

报告相同问题?

悬赏问题

  • ¥20 Python安装cvxpy库出问题
  • ¥15 用前端向数据库插入数据,通过debug发现数据能走到后端,但是放行之后就会提示错误
  • ¥15 python天天向上类似问题,但没有清零
  • ¥30 3天&7天&&15天&销量如何统计同一行
  • ¥30 帮我写一段可以读取LD2450数据并计算距离的Arduino代码
  • ¥15 C#调用python代码(python带有库)
  • ¥15 矩阵加法的规则是两个矩阵中对应位置的数的绝对值进行加和
  • ¥15 活动选择题。最多可以参加几个项目?
  • ¥15 飞机曲面部件如机翼,壁板等具体的孔位模型
  • ¥15 vs2019中数据导出问题