从节点spark启动

Question

怎么让从节点spark在执行start-all.sh时只启动worker节点不启动master节点

Answer 1

以下回复参考：皆我百晓生、券券喵儿等免费微信小程序作答:

要让从节点在执行start-all.sh时只启动worker节点而不启动master节点，你可以在spark-env.sh文件中设置SPARK_MASTER_IP变量为空值。这样，当从节点启动时，它不会尝试启动master节点。请按照以下步骤操作：

1. 在从节点上找到spark-env.sh文件，通常位于$SPARK_HOME/conf目录下。
2. 使用文本编辑器打开spark-env.sh文件。
3. 在文件中添加以下行：

   export SPARK_MASTER_IP=
   

4. 保存并关闭文件。
5. 在从节点上运行start-all.sh脚本，此时只会启动worker节点，不会启动master节点。

注意：这里的$SPARK_HOME是Spark的安装目录。