RamblingMan 2017-08-29 14:20 采纳率: 0%
浏览 2694

spark读取本地文件报错

在scala编写spark程序使用了sc.textFile("file:///home/hadoop/2.txt"),

竟然报错java.io.FileNotFoundException: File file:/home/hadoop/2.txt does not exist,之后又用spark-shell测试,依旧报这样错误

 scala> val rdd = sc.textFile("file:///home/hadoop/2.txt")
rdd: org.apache.spark.rdd.RDD[String] = file:///home/hadoop/2.txt MapPartitionsRDD[5] at textFile at <console>:24
scala> rdd.take(1)
17/08/29 20:27:28 WARN scheduler.TaskSetManager: Lost task 0.0 in stage 1.0 (TID 4, slaves3, executor 2): java.io.FileNotFoundException: File file:/home/hadoop/2.txt does not exist

我cat文件是有输出的

 [hadoop@master ~]$  cat /home/hadoop/2.txt
chen    001     {"phone":"187***","sex":"m","card":"123"}
zhou    002     {"phone":"187***","sex":"f","educetion":"1"}
qian    003     {"phone":"187***","sex":"f","book":"2"}
li      004     {"phone":"187***","sex":"f"}
wu      005     {"phone":"187***","sex":"f"}
zhang   006     {"phone":"187***","sex":"f"}
xia     007     {"phone":"187***","sex":"f"}
wang    008     {"phone":"187***","sex":"f"}
lv      009     {"phone":"187***","sex":"m"}

之后我将文件放在hdfs上面,就能读取的到,这是怎么回事

  • 写回答

1条回答 默认 最新

  • threenewbee 2017-08-30 15:54
    关注
    评论

报告相同问题?

悬赏问题

  • ¥50 NT4.0系统 STOP:0X0000007B
  • ¥15 想问一下stata17中这段代码哪里有问题呀
  • ¥15 flink cdc无法实时同步mysql数据
  • ¥100 有人会搭建GPT-J-6B框架吗?有偿
  • ¥15 求差集那个函数有问题,有无佬可以解决
  • ¥15 【提问】基于Invest的水源涵养
  • ¥20 微信网友居然可以通过vx号找到我绑的手机号
  • ¥15 寻一个支付宝扫码远程授权登录的软件助手app
  • ¥15 解riccati方程组
  • ¥15 使用rabbitMQ 消息队列作为url源进行多线程爬取时,总有几个url没有处理的问题。