真的好难ovo 2022-10-08 16:43 采纳率: 100%
浏览 195
已结题

pyspark没有启动成功什么原因

我安装好了spark后使用spark-shell是正常的,sc也正常,但是启动pyspark时不成功,也没有出现spark这个图标,这是什么原因,是不是版本不兼容,并且sc未定义

我的spark是3.3.0版本。Python在cmd命令中查询到是3.6版本
报错代码如下

hadoop@ubuntu:/usr/local/spark$ bin/pyspark
Python 3.5.1+ (default, Mar 30 2016, 22:46:26) 
[GCC 5.3.1 20160330] on linux
Type "help", "copyright", "credits" or "license" for more information.
Traceback (most recent call last):
  File "/usr/local/spark/python/pyspark/shell.py", line 29, in <module>
    from pyspark.context import SparkContext
  File "/usr/local/spark/python/pyspark/__init__.py", line 53, in <module>
    from pyspark.conf import SparkConf
  File "/usr/local/spark/python/pyspark/conf.py", line 110
    _jconf: Optional[JavaObject]
          ^
SyntaxError: invalid syntax

想知道什么原因怎么解决
spark重新安装过好几次也是这个问题

  • 写回答

1条回答 默认 最新

  • fanstuck 人工智能领域优质创作者 2022-10-08 17:26
    关注

    朋友你这个问题在于anaconda下载的pyspark和spark不兼容的情况。你可以看看我的这篇博客:

    https://blog.csdn.net/master_hunter/article/details/125790656?%ra=card
    按照这个步骤来仔细核对一下,如果还有什么问题可以直接私信我,如果成功了请给采纳,谢谢。

    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论

报告相同问题?

问题事件

  • 系统已结题 10月16日
  • 已采纳回答 10月8日
  • 创建了问题 10月8日

悬赏问题

  • ¥15 delphi webbrowser组件网页下拉菜单自动选择问题
  • ¥15 linux驱动,linux应用,多线程
  • ¥20 我要一个分身加定位两个功能的安卓app
  • ¥15 基于FOC驱动器,如何实现卡丁车下坡无阻力的遛坡的效果
  • ¥15 IAR程序莫名变量多重定义
  • ¥15 (标签-UDP|关键词-client)
  • ¥15 关于库卡officelite无法与虚拟机通讯的问题
  • ¥15 目标检测项目无法读取视频
  • ¥15 GEO datasets中基因芯片数据仅仅提供了normalized signal如何进行差异分析
  • ¥100 求采集电商背景音乐的方法