关于spark离线程序读写本地文件的问题

Question

我目前在学着写spark离线程序，用Java写的
目前我要做的是：在java代码里读取服务器上的/root/config.properties配置文件,
然后我处理完之后会生成一个文件file.txt,我希望将这个file.txt也放到该服务器的特定目录下。
目前我读取配置文件的做法是：先将config.properties上传到hdfs，
然后java代码中写prop.load("hdfs:///root/config.properties");
这样是可以达到效果的，但事实上我不可能每次都手动将配置文件放一下hdfs。
生成的文件在哪目前我还没测试。。。
请大佬指点下这个需要怎么做。包括java代码里和sh脚本里。谢谢。
大佬给代码的时候请详细点，因为不会，能顺带加点注释就最好了。
我测试能用的话保证立马采纳。
环境是jdk1.8和spark2.2，linux系统

Answer 1

读取数据文件的接口不是有SparkContext的textFile么，读取本地文件只是需要指明file://即可（但是要保证所有节点本地上都有该文件，路径一致），
所以一般不会去读取本地的数据文件，而是读取hdfs文件。对于你说的是不是想要加载自己的配置文件，一种是直接打包到jar中去，一种是加载
本地配置文件的话，可以使用SparkContext的addFile接口，然后获取时使用SparkFiles.get()接口即可获取到