SparkSQL 存储文件

Question

到底哪里出错了，怎么解决这个问题，求各位知道的帮忙解答一下，最好回答的详细点

Answer 1

引自免费微信小程序：皆我百晓生

根据你提供的代码和错误信息，你在尝试使用SparkSQL保存DataFrame到一个已经存在的Parquet文件路径中时遇到了问题。具体的错误信息是：“path hdfs://Localhost:9000/user/zhangyu/goods_visit.parquet already exists.” 这意味着你尝试保存数据的路径已经有一个同名文件存在。在Spark中，你不能直接覆盖已经存在的文件，所以会抛出这个异常。

为了解决这个问题，你有几个选择：

1. 改变保存路径: 这是最直接的方法。你可以选择一个新的路径来保存你的数据，确保这个路径在HDFS上不存在。例如：

df.select("goods_id","click_num").write.format("parquet").save("new_path/goods_visit.parquet")

确保替换new_path为你实际想保存数据的新路径。

1. 覆盖现有文件: 如果你确实需要覆盖现有的文件，你可以先删除现有的文件然后再保存。但这需要谨慎操作，因为这将删除HDFS上的所有数据。你可以使用Hadoop的命令行工具或者Spark的API来删除文件。例如：

sparkContext.hadoopFile("hdfs://Localhost:9000/user/zhangyu/goods_visit.parquet", classOf[org.apache.hadoop.io.multipartfile], Configuration().addPathEntry(), SparkContextUtils).deleteContents()

然后使用你原来的保存命令。再次强调，这个操作有风险，需要谨慎执行。

请注意，你可能需要根据你的具体环境和配置稍作调整上述代码。如果你在执行过程中遇到其他问题，可以随时向我询问。