我用的是hadoop-2.5cdh5.3，集群namenode在01主机上，在配置spark的时候我将spark master指向了03节点，
配置完毕后，将hadoop集群，yarn依次启动，然后启动spark做示例运行总是出现启动不正常的问题，所以请有经验的人指明一下，是不是一定要和hadoop的主节点一样呢？zookeeper是不是也一定要启动。图是我的示例运行，页面查询发现此任务运行是被killed的状态。
worker的deploy日志
spark主节点配置一定与hadoop主节点配置一样吗？依赖zookeeper吗？
- 写回答
- 好问题 0 提建议
- 追加酬金
- 关注问题
分享- 邀请回答
-
0条回答
- 2022-06-23 13:55回答 1 已采纳 Hadoop和Spark都是处理大数据的框架。就象你说关系型数据库，这只是一个概念，但是代表了一系列的含意，比如数据是结构化的，基于关系模型存储的。而MySQL、Oracle、SqlServer这些就
- 2022-08-13 22:09回答 1 已采纳 主要还是看配置的端口有没有被占用，有的话就需要改
- 2022-09-17 13:55回答 1 已采纳 另外两台应该没有启动相关的进程，你是怎么启动Hadoop集群的呢？有把02、03添加到slave里面吗？
- 2021-07-06 23:18繁星蓝雨的博客 文章目录2 配置Hadoop2.1 配置免密登录2.1.1 生成密匙2.1.2 免密登录2.1.3 验证免密登录2.2 集群搭建2.2.1 下载并解压2.2.2 配置环境变量2.2.3 修改配置1. hadoop-env.sh2. core-site.xml3. hdfs-site.xml4. yarn-...
- 2023-03-02 16:06回答 3 已采纳 小魔女参考了bing和GPT部分内容调写:要安装配置Hadoop的完全分布式，首先需要准备好master节点和slave节点，其中master节点需要安装jdk，slave节点只需要安装ssh服务，并
- 2023-03-24 09:26回答 1 已采纳 工信部Hadoop中级或高级证书对于从事大数据相关工作的人来说是有用的，它可以证明个人在Hadoop技术方面的专业能力和水平，对于个人的职业发展和晋升也有一定的帮助。但需要注意的是，证书只是一个衡量标
- 2022-04-21 01:37回答 2 已采纳 你在b站视频下面看看评论区，评论区下面的前几个有大佬提供了解决思路。我当时这里报错了，我用了评论区给的方法成功了。如果评论区的方法没有解决，说一个最不好听的方法，你把hive和spark重新装一遍。我
- 2021-10-02 16:40奋斗的小G佩奇的博客 hadoop和zookeeper的安装与配置 1. 安装好linux虚拟机、Xshell、Xftp 2. 解压安装jdk、hadoop、zookeeper的压缩包 3. 配置linux主机设置与环境 4. 编写并添加hadoop的配置 5. 编写zookeeper的配置 6. 克隆机器（奇数...
- 2022-06-07 00:40回答 3 已采纳 这取决于你需要解决什么问题，如果只是临时跑一下批处理任务用到spark大可local模式跑跑完了，真要构建完整的hadoop生态你这一台云服务器够呛，内存低了甚至跑不起来全部组件
- 2021-07-04 22:12回答 2 已采纳 如果任务推送至yarn上，实际的工作节点为 nodeManager节点。与hive道理相同，hive默认跑mapreduce，单节点的hql查询也是推送任务至yarn上，工作节点为nodeManage
- 2022-10-04 11:47回答 1 已采纳 不知道你这个问题是否已经解决, 如果还没有解决的话: 请看👉 ：配置hadoop集群常见报错汇总如果你已经解决了该问题, 非常希望你能够分享一下解决方案, 写成博客, 将相关链接放在评论区, 以帮助
- 2019-01-02 13:10认真敲代码的C罗的博客 基本配置 系统：CentOS7.6 节点信息： 节点 ip master 192.168.185.150 slave1 192.168.185.151 slave2 192.168.185.152 网络配置 # 注意：centos自从7版本以后网卡名...
- 2022-10-30 18:41回答 1 已采纳 你的core-site.xml 文件里边的内容写错了，你再去检查yixiaq还有就是你的免密没有配置，提示了没有主机路由，你要保证你的这三台主机的IP都是在同一个网段，然后在从新配置一下免密，
- 2021-09-23 10:15吾仄lo咚锵的博客 （插播反爬信息 ）博主CSDN地址：https://wzlodq.blog.csdn.net/ 原创不易，请勿转载（本不富裕的访问量雪上加霜 ） 博主首页：https://wzlodq.blog.csdn.net/ 来都来了，不评论两句吗???? 如果文章对你有帮助，...
- 2020-08-23 11:47Code-Dragon的博客 大数据分布式集群环境搭建详细步骤（Zookeeper，Hadoop安装与配置） 前言：前面我们完成了Linux系统的安装及网络配置，接下来我们继续完成Zookeeper和Hadoop的安装与配置。 ...
- 没有解决我的问题, 去提问
悬赏问题
- ¥15 安卓adb backup备份应用数据失败
- ¥15 eclipse运行项目时遇到的问题
- ¥15 关于#c##的问题：最近需要用CAT工具Trados进行一些开发
- ¥15 南大pa1 小游戏没有界面，并且报了如下错误，尝试过换显卡驱动，但是好像不行
- ¥15 没有证书，nginx怎么反向代理到只能接受https的公网网站
- ¥50 成都蓉城足球俱乐部小程序抢票
- ¥15 yolov7训练自己的数据集
- ¥15 esp8266与51单片机连接问题(标签-单片机|关键词-串口)（相关搜索：51单片机|单片机|测试代码）
- ¥15 电力市场出清matlab yalmip kkt 双层优化问题
- ¥30 ros小车路径规划实现不了，如何解决？(操作系统-ubuntu)