在我将spark.DataFrame覆盖写入到HIVE中时，报错提示我该表已经创建。覆盖写入不应该会将原来的数据删除再重写写入吗?
而且我在hue查询的时候又显示该表没有创建？
spark.saveAsTable()报错，显示表已创建
- 写回答
- 好问题 0 提建议
- 追加酬金
- 关注问题
分享- 邀请回答
-
1条回答 默认 最新
- 2022-12-15 15:54
Spark 读取 Hive 数据报错 NoSuchMethodError : org.apache.spark.sql.catalyst.catalog.SessionCatalog
hive
spark
大数据
回答 1 已采纳 22/12/15 15:32:44 INFO SparkContext: Invoking stop() from shutdown hook集群资源不足，且动态资源分配申请的executors、内存 - 2023-03-14 21:18回答 1 已采纳 根据报错信息，似乎是找不到 "/usr/spark/master" 这个文件或目录。可能是你的路径设置有问题，或者是该路径下的文件或目录被删除或移动了。建议仔细查看路径设置和文件系统，确保路径设置正确
- 2022-04-21 01:37回答 2 已采纳 你在b站视频下面看看评论区，评论区下面的前几个有大佬提供了解决思路。我当时这里报错了，我用了评论区给的方法成功了。如果评论区的方法没有解决，说一个最不好听的方法，你把hive和spark重新装一遍。我
- 2023-02-02 10:31硅谷工具人的博客 使用以下方式写入表时，如果表不存在，但是表的hdfs目录下存在文件时会报错 df.write.mode("overwrite").partitionBy("pk_hour").saveAsTable("dw.test") 可以在Spark的参数中添加下面配置，以下仅仅是Spark2中生效...
- 2022-10-21 10:28回答 2 已采纳 命令的问题吧，./bin/spark-submit --class org.apache.spark.examples.SparkPi --master yarn --deploy-mode clus
- 2023-01-17 10:39回答 3 已采纳 这个是github上个人维护的spark-aql勾子程序,你的问题应该是设置高版本的spark和scala,造成了一些版本冲突,而且高版本中许多类都更新过了,当然找不到.(1)<import o
- 2017-09-22 03:23回答 2 已采纳 可能是scala驱动版本不匹配
- 2022-10-18 18:52巷子里的猫X的博客 一、快速入门 import findspark from pyspark.sql import SparkSession findspark.init() spark = SparkSession.builder.getOrCreate() # 无法同时运行多个SparkContext sc = spark.sparkContext 类 描述 Struct...
- 2022-05-30 23:50回答 4 已采纳 原因 1、可能是语法错误或者错误符号2、可能是node版本问题 解决方法前者自己排查下后者的话可以看下这个说明：低于 7.6 的 Node 版本不支持异步函数。如果您使用的是旧版本，您需要将您的代码（
- 2021-09-28 16:58回答 2 已采纳 该问题由hive与spark两者版本不兼容导致的，具体的解释，在官网是有说明的：Hive on Spark is only tested with a specific version of Spar
- 2023-01-17 22:05回答 2 已采纳 这是一个连接Doris服务器失败的错误，具体原因可能是Doris服务器无法连接或网络故障导致的。
- 2020-05-08 16:08四月天03的博客 一般在我们开发spark程序的时候，从代码开发到上线以及后期的维护中，在整个过程中都需要涉及到调优的问题，即一开始需要考虑如何把代码写的更简洁高效调优(即代码优化)，待开发测试完成后，提交任务时综合考量该...
- 2021-06-25 12:55回答 1 已采纳 你切到对应的数据库吗，xshell只是远程工具。
- 2022-08-17 14:32幼稚的人呐的博客 RDD 是 Spark 平台的核心概念， 是 Spark 能够高效的处理大数据的各种场景的基础。 能够在 scala 、Java中写 SQL 语句。支持简单的 SQL 语法检查，能够在Scala 中写 Hive 语句访问 Hive 数据，并将结果取回作为 RDD ...
- 2021-10-24 10:30奋斗的源的博客 核心类二.Spark Session APIs1.SparkSession.builder.config2.SparkSession.builder.getOrCreate3.SparkSession.createDataFrame4.SparkSession.getActiveSession5.SparkSession.range6.SparkSession.table三....
- 没有解决我的问题, 去提问
问题事件
创建了问题
8月21日
悬赏问题
- ¥30 vmware exsi重置后的密码
- ¥15 易盾点选的cb参数怎么解啊
- ¥15 MATLAB运行显示错误，如何解决？
- ¥15 c++头文件不能识别CDialog
- ¥15 Excel发现不可读取的内容
- ¥15 UE5#if WITH_EDITOR导致打包的功能不可用
- ¥15 关于#stm32#的问题：CANOpen的PDO同步传输问题
- ¥20 yolov5自定义Prune报错，如何解决？
- ¥15 电磁场的matlab仿真
- ¥15 mars2d在vue3中的引入问题