问题遇到的现象和发生背景
读取hdfs上的数据,结果一直读的file
问题相关代码,请勿粘贴截图
scala> val inputRDD = sc.textFile("/datas/README.md")
scala> inputRDD.count
运行结果及报错内容
org.apache.hadoop.mapred.InvalidInputException: Input path does not exist: file:/datas/README.md
at org.apache.hadoop.mapred.FileInputFormat.singleThreadedListStatus(FileInputFormat.java:287)
.
.
我的解答思路和尝试过的方法
1.不知道sc.textFile()这个默认读的是本地还是hdfs,如果是本地file,需要从哪里修改成hdfs的呢?
2.scala> val inputRDD = sc.textFile("hdfs://localhost:9000/datas/README.md")
用这种加端口的方式也是找不到
我想要达到的结果
inputRDD.count能读到hdfs的文件