妹妹叫朕咕咕哒 2019-03-28 18:04
浏览 962

pyspark spark2.3.3 hadoop2.7 py4j.protocol.Py4JJavaError

遇到的问题有两个

先上代码:

from pyspark import SparkConf, SparkContext

conf = SparkConf()\
    #.setMaster("local[2]").setAppName("spark0301")

sc = SparkContext(conf=conf)

data = [1,2,3,4,5]
disData = sc.parallelize(data)
disData.collect()


sc.stop()

一.window环境下

图片说明

二.pyspark 单机模式下

./spark-submit --master local[2] --name spark0001 /root/datas/text1.py
我运行的结果

图片说明

正常别人运行的结果

图片说明

  • 写回答

0条回答 默认 最新

    报告相同问题?

    悬赏问题

    • ¥15 矩阵加法的规则是两个矩阵中对应位置的数的绝对值进行加和
    • ¥15 活动选择题。最多可以参加几个项目?
    • ¥15 飞机曲面部件如机翼,壁板等具体的孔位模型
    • ¥15 vs2019中数据导出问题
    • ¥20 云服务Linux系统TCP-MSS值修改?
    • ¥20 关于#单片机#的问题:项目:使用模拟iic与ov2640通讯环境:F407问题:读取的ID号总是0xff,自己调了调发现在读从机数据时,SDA线上并未有信号变化(语言-c语言)
    • ¥20 怎么在stm32门禁成品上增加查询记录功能
    • ¥15 Source insight编写代码后使用CCS5.2版本import之后,代码跳到注释行里面
    • ¥50 NT4.0系统 STOP:0X0000007B
    • ¥15 想问一下stata17中这段代码哪里有问题呀