床长小跟班 2021-12-20 21:52 采纳率: 0%
浏览 196

Input path does not exist: file:/datas/README.md

问题遇到的现象和发生背景

读取hdfs上的数据,结果一直读的file

问题相关代码,请勿粘贴截图

scala> val inputRDD = sc.textFile("/datas/README.md")
scala> inputRDD.count

运行结果及报错内容

org.apache.hadoop.mapred.InvalidInputException: Input path does not exist: file:/datas/README.md
at org.apache.hadoop.mapred.FileInputFormat.singleThreadedListStatus(FileInputFormat.java:287)
.
.

我的解答思路和尝试过的方法

1.不知道sc.textFile()这个默认读的是本地还是hdfs,如果是本地file,需要从哪里修改成hdfs的呢?
2.scala> val inputRDD = sc.textFile("hdfs://localhost:9000/datas/README.md")
用这种加端口的方式也是找不到

我想要达到的结果

inputRDD.count能读到hdfs的文件

  • 写回答

4条回答 默认 最新

  • CSDN专家-微编程 2021-12-20 22:26
    关注

    不是这样写的,val input = sc.textFile("file:///home/spark/README.md"),///代表本地文件根目录
    读取hdfs文件应该是val input = sc.textFile("hdfs://nn:9000/path/file") file代表存放文件的目录

    评论

报告相同问题?

问题事件

  • 创建了问题 12月20日

悬赏问题

  • ¥15 素材场景中光线烘焙后灯光失效
  • ¥15 请教一下各位,为什么我这个没有实现模拟点击
  • ¥15 执行 virtuoso 命令后,界面没有,cadence 启动不起来
  • ¥50 comfyui下连接animatediff节点生成视频质量非常差的原因
  • ¥20 有关区间dp的问题求解
  • ¥15 多电路系统共用电源的串扰问题
  • ¥15 slam rangenet++配置
  • ¥15 有没有研究水声通信方面的帮我改俩matlab代码
  • ¥15 ubuntu子系统密码忘记
  • ¥15 保护模式-系统加载-段寄存器