康春楠 2022-08-21 13:31 采纳率: 25%
浏览 38

spark.saveAsTable()报错，显示表已创建

在我将spark.DataFrame覆盖写入到HIVE中时，报错提示我该表已经创建。覆盖写入不应该会将原来的数据删除再重写写入吗?
而且我在hue查询的时候又显示该表没有创建？

img

img

谁能帮我讲讲这是什么原理吗？
  • 写回答

1条回答 默认 最新

  • 骑着蜗牛ひ追导弹' 优质创作者: Java技术领域 2022-08-23 23:13
    关注

    估价卡了，重启试试

    评论

报告相同问题？

  • Spark saveAsTable写入表会提示表已存在的问题
    2023-02-02 10:31
    硅谷工具人的博客 使用以下方式写入表时，如果表不存在，但是表的hdfs目录下存在文件时会报错 df.write.mode("overwrite").partitionBy("pk_hour").saveAsTable("dw.test") 可以在Spark的参数中添加下面配置，以下仅仅是Spark2中生效...
  • spark开发中遇到的一些BUG
    2024-08-09 17:18
    呆呆敲代码敲到呆的博客 sparkSQL在运行作业时候，使用saveASTable时候作业如果突然挂掉或者被kill掉，此时表的HDFS路径已经创建，但是表在MySQL的元数据确没有就会导致，再次saveASTable时候会报错显示HDFS上此路径已经存在。
  • spark hive sql查询中遇到的一些问题
    2023-09-11 15:09
    super_002的博客 frame.write.mode(SaveMode.Overwrite).format("hive").partitionBy("dt").saveAsTable 或者使用hive的create table建立的表 使用Overwrite.insertInto的时候只会覆盖有的分区 如果想让frame.write.mode(SaveMode....
  • Spark 中 JVM 内存使用及配置详情、spark报错与调优、Spark内存溢出OOM异常
    2020-05-08 16:08
    四月天03的博客 一般在我们开发spark程序的时候，从代码开发到上线以及后期的维护中，在整个过程中都需要涉及到调优的问题，即一开始需要考虑如何把代码写的更简洁高效调优(即代码优化)，待开发测试完成后，提交任务时综合考量该...
  • spark SQL
    2023-03-13 10:41
    DUT_子陌的博客 DataFrame是数据表，每条数据就是表中的一行，并且会给一行划分每一列，可以对每行或者每列的数据进行处理。 DataFrame 本质是基于RDD之上增加了Schema信息：DataFrame = RDD + Schema。 RDD： 没有Schema，对于RDD...
  • 大数据技术与应用开发赛项笔记
    2023-12-29 14:17
    南城守护的博客 submit --master yarn --packages org.apache.hudi:hudi-spark3.1-bundle_2.12:0.12.0 --class gs_2.task03 ./bigdata03.jar 2 hudi加载从idea指定路径创建的表 create table hudi_existing_tbl using hudi location...
  • （二）PySpark3：SparkSQL编程
    2024-03-07 14:44
    小楼一夜听春雨258的博客 总的来说，Spark SQL是一个功能强大的工具，适合于处理大规模数据集和进行复杂的数据分析。Spark SQL能够访问多种数据源，包括本地数据集、HDFS、Hive、HBase等，并且通过集成类RDD、类Excel、类SQL的数据处理操作，...
  • PySpark基础 —— SparkSQL
    2022-10-18 18:52
    巷子里的猫X的博客 一、快速入门 import findspark from pyspark.sql import SparkSession findspark.init() spark = SparkSession.builder.getOrCreate() # 无法同时运行多个SparkContext sc = spark.sparkContext 类 描述 Struct...
  • Spark离线开发指南(详细版)
    2024-06-25 17:05
    Evan2OO1的博客 API：API：sparkcontext.textFile(参数1，参数2)参数1：必填，文件路径支持本地，支持HDFS，也支持一些比如S3协议参数2：可选，表示最小分区数量注意：参数2话语权不足，spark有自己的判断，在它的允许的范围内，...
  • 大数据领域Hive与Spark的结合使用案例
    2025-12-09 19:42
    AI智能探索者的博客 我是小夏，一名专注于大数据分析与实时计算的工程师，曾参与多个电商和金融项目的大数据架构设计。擅长用通俗易懂的语言讲解复杂技术，公众号“大数据夏说”分享更多实战经验。
  • 没有解决我的问题, 去提问

问题事件

  • 创建了问题 8月21日