2 qq 36888592 qq_36888592 于 2017.09.11 11:12 提问

spark 如何指定输出文件的文件名?

spark 程序如何指定输出文件的文件名?网上都是 x.repartition(1).saveAsTextFile("a.txt"),但这是新建了一个 a.txt目录,请问如何输出 a.txt文件?

4个回答

iamaTraveler
iamaTraveler   2017.09.20 18:17

使用pairRDD.saveAs...方法,然后重写OutputFormat输出格式,修改该格式中的方法,就OK了

pcsuccess
pcsuccess   2017.09.11 11:44

文件存在hdfs了吧,从hdfs再导出到本地操作系统,你是想说的这个意思吧

huang931027
huang931027   Rxr 2017.09.11 16:30

不会吧,这就是创建了一个文件。saveAsTextFile 你看这个方法的名字,你觉得这是创建文件夹吗。。我之前也写过这种的WordCount,的Demo然后把结果存到文件里面,好像就是这样的呀

huang931027
huang931027 回复u010003835: 请不要装逼,我就半年前评论了一句话, 还不懂请不要误导。
大约 2 个月之前 回复
huang931027
huang931027 回复u010003835: 你懂你说啊,我有误导人家吗??没看见我说 好像是这样。 好像两个个字不懂啥意思吗?
大约 2 个月之前 回复
u010003835
u010003835 不懂请不要误导
2 个月之前 回复
qq_34894188
qq_34894188   2017.11.10 18:51

这个是没办法直接命名那个part-*文件的。除非改hadoop的源码(spark还是调用的hadoop的写文件方法)。原因是:如果你不写repartition(1),下面会生成一堆
你自己命名的文件,就会出现多文件重名的现象。

Csdn user default icon
上传中...
上传图片
插入图片
准确详细的回答,更有利于被提问者采纳,从而获得C币。复制、灌水、广告等回答会被删除,是时候展现真正的技术了!