大数据一亩三分地 2020-08-20 17:36 采纳率: 0%
浏览 305
已结题

spark2.3.2版本多次执行insert overwrite 分区表提示异常

spark2.3.2版本多次执行insert overwrite 分区表有时会提示异常：Error: org.apache.spark.sql.AnalysisException: org.apache.hadoop.hive.ql.metadata.HiveException: Unable to move source hdfs://****/filename to destination hdfs://****/filename; (state=,code=0)，但有时执行同样的sparksql是可以成功的。
该问题在spark2.1.0版本中出现过，在Spark2.1.1中已经解决
spark2.1.0规避办法INSERT OVERWRITE不带分区重复执行不会出现问题。
但目前的版本是spark2.3.2，并且必须要带上分区，请问应该如何解决？

  • 写回答

1条回答 默认 最新

  • 蔡能教授，网站特聘专家 2020-08-20 21:30
    关注

    https://www.cnblogs.com/piperck/p/10578042.html

    评论

报告相同问题？