海宝宝m 2021-07-04 22:12 采纳率: 33.3%
浏览 81
已采纳

spark yarn需要部署多个spark吗?

最近学了下spark,关于spark yarn模式很困惑,找视频翻书都没找到明确答案,有知道的麻烦解答下~
如题,假设有5台机器,spark on yarn模式部署时:
1、计划1台做hadoop的master,其余4台做slave,这是hadoop集群;
2、这时还需要在5台中也分别安装好spark吗,还是比如只在其中3台机器中装好spark然后做这3台的spark集群配置就行了,又或者只需要hadoop的master这一台机器装好这一处spark就行了,如果是只在master这一台机器上装spark,那么实际计算时使用到的节点是hadoop集群配置的那些吗?
求解答,多谢~

  • 写回答

2条回答 默认 最新

  • syyyyyyyyyyyyyyh 2021-07-05 10:00
    关注

    如果任务推送至yarn上,实际的工作节点为 nodeManager节点。与hive道理相同,hive默认跑mapreduce,单节点的hql查询也是推送任务至yarn上,工作节点为nodeManager节点。

    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论
查看更多回答(1条)

报告相同问题?

悬赏问题

  • ¥50 potsgresql15备份问题
  • ¥15 Mac系统vs code使用phpstudy如何配置debug来调试php
  • ¥15 目前主流的音乐软件,像网易云音乐,QQ音乐他们的前端和后台部分是用的什么技术实现的?求解!
  • ¥60 pb数据库修改与连接
  • ¥15 spss统计中二分类变量和有序变量的相关性分析可以用kendall相关分析吗?
  • ¥15 拟通过pc下指令到安卓系统,如果追求响应速度,尽可能无延迟,是不是用安卓模拟器会优于实体的安卓手机?如果是,可以快多少毫秒?
  • ¥20 神经网络Sequential name=sequential, built=False
  • ¥16 Qphython 用xlrd读取excel报错
  • ¥15 单片机学习顺序问题!!
  • ¥15 ikuai客户端多拨vpn,重启总是有个别重拨不上