小孙什么也没学会 2023-02-24 16:52 采纳率: 50%
浏览 19
已结题

怎么用单机版伪分布式搭建spark

本人大二 学到了单机版伪分布式搭建spark,但是输入start-all.sh这个命令的时候报错了,jps以后也会显示master和worker这两个进程。但是netstat -nltp以后8080端口那也不显示我的ip,这个该怎么解决啊

img

  • 写回答

2条回答 默认 最新

  • GPT_Pro 2023-02-24 16:58
    关注

    该回答内容部分引用GPT,GPT_Pro更好的解决问题
    你好,可能是因为你在搭建spark的伪分布式时出现了一些问题,导致8080端口没有显示。要想解决这个问题,请按照以下步骤进行:

    1. 检查配置文件是否正确。在搭建伪分布式spark时,需要修改spark-env.sh文件,务必确认你已经把SPARK_MASTER_IP参数设置为你的本机IP地址;

    2. 检查端口是否被占用。如果你的8080端口已经被其他应用占用了,可能会导致spark无法正常启动。打开终端,输入lsof -i:8080,看看是否返回任何应用的PID;如果有,就kill它;

    3. 重新启动spark集群。如果上述步骤都做完了,就可以重新尝试启动spark集群了。打开一个新的终端,输入start-all.sh命令来重新启动spark集群。如果这一步成功了,你就可以看到8080端口了。

    此外,你也可以尝试在spark-env.sh文件中修改SPARK_MASTER_PORT参数来重新指定spark master的端口。

    希望我的回答能够帮助到你。
    如果回答有帮助,望采纳。

    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论
查看更多回答(1条)

报告相同问题?

问题事件

  • 系统已结题 3月27日
  • 已采纳回答 3月19日
  • 修改了问题 2月24日
  • 修改了问题 2月24日
  • 展开全部

悬赏问题

  • ¥20 androidstudio工具问题
  • ¥15 想问一些关于计量的问题
  • ¥15 关于c++外部库文件宏的问题,求解
  • ¥15 office打开卡退(新电脑重装office系统后)
  • ¥300 FLUENT 火箭发动机燃烧EDC仿真
  • ¥15 【Hadoop 问题】Hadoop编译所遇问题hadoop-common: make failed with error code 2
  • ¥15 vb6.0+webbrowser无法加载某个网页求解
  • ¥15 RPA财务机器人采购付款流程
  • ¥15 计算机图形多边形及三次样条曲线绘制
  • ¥15 根据protues画的图用keil写程序