找工作的大数据开发 2017-09-11 03:12 采纳率: 0%
浏览 7227

spark 如何指定输出文件的文件名？

spark 程序如何指定输出文件的文件名？网上都是 x.repartition(1).saveAsTextFile("a.txt"），但这是新建了一个 a.txt目录，请问如何输出 a.txt文件？

  • 写回答

5条回答 默认 最新

  • iamaTraveler 2017-09-20 10:17
    关注

    使用pairRDD.saveAs...方法，然后重写OutputFormat输出格式，修改该格式中的方法，就OK了

    评论

报告相同问题？

  • sparksql 指定输出的文件名
    2022-01-24 12:59
    灵佑666的博客 这是sparksql写入hive表指定输出文件名的自定义方式。 版本：spark-2.3.2 实现目的 在目前的业务需求中，需要实现场景为： 当往一个hive表中不断以Append的方式写入数据，需要知道哪些文件是哪一次运行后追加的...
  • spark 自定义输出文件名,文件格式,csv文件添加列头
    2021-10-31 17:39
    HDP_CDH的博客 import java.text.SimpleDateFormat import java.util.Date import org.apache.hadoop.fs.{FileSystem, Path} import org.apache.hadoop.mapred.{FileOutputFormat, JobConf} ...import org.apache.spark.TaskCo.
  • spark 读取文件并获取文件名
    2023-08-24 11:34
    是阿威啊的博客 【代码】spark 读取文件并获取文件名。
  • Spark 写hdfs自定义文件名
    2022-11-18 23:41
    南风知我意丿的博客 Spark 写hdfs自定义文件名
  • spark大数据技术与应用
    2024-03-11 21:19
    2301_77235736的博客 但是，如果计算过程中涉及数据交换，Spark 也是会把 shuffle 的数据写磁盘的...3 个数字表示文件或目录的权限，第 1 个数字表示所有者的权限，第 2个 数字表示与所有者同组用户的权限，第 3 个数字表示其他用户的权限。
  • spark大数据环境搭建
    2025-06-09 23:06
    xiyunliuyu的博客 它提供了高效的数据处理能力，可以在大规模数据集上进行快速计算和分析。...（2.6）在指定磁盘容量的窗体中，设定虚拟机使用的最大磁盘大小为 60GB，虚拟机文件尺寸是在使用过程中按需增长的，最大限制为 60GB。
  • 大数据开发Spar、Hive入门
    2024-04-26 14:31
    它提供了具体的SQL示例，如创建用户表、加载CSV文件数据、执行各种查询操作（如筛选、统计、分组等），并指出了在实际操作中需要注意的事项，如确保Hive服务启动、连接Hive客户端、修改路径和文件名，以及根据权限和...
  • Spark处理方法_提取文件名中的时间
    2023-11-10 09:15
    BigData_老李的博客 本文主要使用spark开发中遇到一个解析文件时间问题，目前解决了解析出最后一个文件时间添加到读取所有outrdd的dataframe列中，后期优化的话，要将每一个文件名解析出来的时间放到读取的文件内容中。
  • Spark自定义输出文件
    2023-03-23 18:49
    datachuizi的博客 本文将通过源码出发讲述spark如何调用hadoop几种OutputFormat,从而实现的文件输出，这里将讲述几种工作中常使用的算子，例如：saveAsTextFile(path) 、saveAsHadoopFile(path) saveAsTextFile(path)底层调用也是...
  • Spark文件的读取和保存
    2022-07-13 09:36
    笑看风云路的博客 在Spark中，提供了多种文件格式的读取和保存的API。数据的读取和保存可以从两个维度来区分文件格式和文件系统。文件格式分类text文件、Object文件和sequence文件。文件系统分类本地文件系统、HDFS等。解释object文件...
  • 没有解决我的问题, 去提问