spark完全分布式搭建

Question

spark完全分布式搭建完成后主节点master进程是对的有master进程，但是从节点slaves2有master和worker两个进程是什么原因

Answer 1

以下回复参考：皆我百晓生、券券喵儿等免费微信小程序作答:

在Spark的完全分布式搭建过程中，主节点（Master）上应该只有一个Master进程，而从节点（Slaves）上应该只有一个Worker进程。在你的问题中，从节点slaves2上有Master和Worker两个进程，这可能是因为你在从节点上也启动了Master进程。

你需要检查以下几点：

1. 检查你的spark-defaults.conf和slaves配置文件是否正确。在spark-defaults.conf中，spark.master.host应该设置为Master节点的主机名或IP地址。在slaves文件中，应该列出所有Slave节点的主机名或IP地址。

2. 确保你只在Master节点上启动Master进程，而在Slave节点上启动Worker进程。你可以在Master节点上运行start-master.sh来启动Master进程，在Slave节点上运行start-worker.sh <master-url>（其中<master-url>是你的Master节点的URL）来启动Worker进程。

3. 如果你在Slave节点上也看到了Master进程，那么可能是因为你在Slave节点上也运行了start-master.sh命令。你应该只在Master节点上运行这个命令。

4. 另外，确保你的Spark安装目录在所有节点上的权限设置都是正确的。你可能需要根据你的用户和组来调整这些权限。

5. 最后，确保你的网络配置是正确的，所有的节点都应该能够相互通信。