weixin_45296130 2022-06-18 12:23 采纳率: 50%
浏览 51
已结题

pyspark代码运行报错,如何解决?(语言-python)

问题遇到的现象和发生背景

操作系统:Ubuntu 20.04
Spark版本:3.2.1
Hadoop 版本:3.3.1
Python 版本:3.8.10
Java 版本:1.8.202

问题相关代码,请勿粘贴截图

from pyspark import SparkConf, SparkContext

conf = SparkConf().setAppName("WordCount").setMaster("local")
sc = SparkContext(conf=conf)
inputFile = "hdfs://localhost:9000/user/way/word.txt"
textFile = sc.textFile(inputFile)
wordCount = textFile.flatMap(lambda line : line.split(" ")).map(lambda word : (word, 1)).reduceByKey(lambda a, b : a + b)
wordCount.foreach(print)

Spark 中运行结果及报错内容

img

pycharm中运行结果及报错内容

img

Process finished with exit code 1

我的解答思路和尝试过的方法

我以为是py4j文件目录有问题,后来发现不是;后来看pycharm报错是导入包文件的问题可能是版本兼容性问题

我想要达到的结果

正常运行代码

  • 写回答

0条回答 默认 最新

    报告相同问题?

    问题事件

    • 已结题 (查看结题原因) 6月19日
    • 赞助了问题酬金10元 6月19日
    • 创建了问题 6月18日

    悬赏问题

    • ¥15 尝试访问%1服务的windows注册表时遇到问题。必须先解决此问题,然后才能运行安装过程。(请确认您正在使用管理员权限运行)373
    • ¥15 (关键词-运算放大器)
    • ¥15 关于#游戏策划#的问题:当浏览器输入兑换码,疯狂点击领取按钮,邮箱马上到账几十个兑换码礼包
    • ¥15 虚拟机打不开,怎么解决
    • ¥15 为什么游戏兑换码能被重复领取
    • ¥30 (急!)java实现二叉链表构建二叉树,实现相关功能
    • ¥15 C#tekloa节点插件小项
    • ¥20 脑电信号的局部场电位分析
    • ¥30 Diodes 霍尔开关AH337已经obselete,他的升级替代料【不改变现有电路图】
    • ¥15 python爬虫IndexError: list index out of range