问题遇到的现象和发生背景
我想要达到的结果
我用spark连接hive读取数据，中间有差不多几分钟时间一直卡住不动。
请问58分15秒-01分30秒之间是在做什么，需要这么久的时间。请问这是为什么呢！
spark连接hive读取数据，中间有几分钟卡住什么也不做
- 写回答
- 好问题 0 提建议
- 追加酬金
- 关注问题
分享- 邀请回答
-
0条回答 默认 最新
- 2022-12-15 15:54
Spark 读取 Hive 数据报错 NoSuchMethodError : org.apache.spark.sql.catalyst.catalog.SessionCatalog
hive
spark
大数据
回答 1 已采纳 22/12/15 15:32:44 INFO SparkContext: Invoking stop() from shutdown hook集群资源不足，且动态资源分配申请的executors、内存 - 2022-12-24 10:29回答 1 已采纳 Hadoop是一个分布式计算框架，可以在大数据集上运行分布式应用程序。它由许多组件组成，包括HDFS（分布式文件系统）和MapReduce（分布式计算引擎）。Hive是一个基于Hadoop的数据仓库系
- 2023-03-14 10:08回答 1 已采纳 job的执行错误，看下你的脚本代码，去掉可能出错的部分再试试看
- 2020-05-23 22:58孟知之的博客 数据倾斜的表现2.1 Hive中的数据倾斜2.2 spark中的数据倾斜3. 数据倾斜的原因3.1 Shuffle3.2 数据本身3.3 业务逻辑4. 数据倾斜的解决方案5.举个栗子5.1 由空值造成的数据倾斜5.2 count(distinct)的倾斜问题5.3 不同...
- 2017-09-06 08:27回答 1 已采纳 可以使用spark的连接器： CREATE table st_order ( shop_id string, `date` string) using com.sequoiadb.spark
- 2022-04-10 22:25回答 1 已采纳 报错了，缺少jar或者版本不对。Exception in thread "org.apache.hadoop.hive.common.JvmPauseMonitor$Monitor@55707d9a"
- 2021-07-30 17:14回答 1 已采纳 可参考：https://blog.csdn.net/zt15732625878/article/details/85245731看客户端的 hive-jdbc的version 和hive Server
- 2021-12-05 15:47For Coding的博客 大数据Hadoop、Hive、Kafka、Hbase、Spark等框架面经
- 2022-04-21 01:37回答 2 已采纳 你在b站视频下面看看评论区，评论区下面的前几个有大佬提供了解决思路。我当时这里报错了，我用了评论区给的方法成功了。如果评论区的方法没有解决，说一个最不好听的方法，你把hive和spark重新装一遍。我
- 2022-03-27 14:34回答 2 已采纳 把情景一改成这样试试spark.sql(""" INSERT INTO hive_test_one.djia_table(date, open, high, low, close, volume,
- 2023-02-24 15:51回答 1 已采纳 是的，Apache Hive的分层就是指把不同维度的数据抽取出来，并根据不同的维度进行分类存放。通过这种方式，可以更好的管理数据，便于后续的查询和分析处理。
- 2022-05-30 21:53@我不是大鹏的博客 1.1 什么是Hive 1） hive简介 Hive：由Facebook开源用于解决海量结构化日志的数据统计工具。 Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。 2） Hive本质：将HQL...
- 2023-04-07 00:25回答 3 已采纳 旧数据 left join 新数据 选出旧数据关联不上的（也就是旧数据有，新数据没有的），然后再与新数据union ，这样没更新的旧数据就和新数据在一个表了
- 2023-06-09 08:23程序员老五的博客 大数据：历史数据，预测未来Hive 由 FaceBook 实现并开源，是基于 Hadoop 的一个数据仓库工具，可以将结构化的数据映射为一张数据库表，并提供 HQL（Hive SQL）查询 功能，底层数据存储在 HDFS 上。Hive 的本质是将 ...
- 2024-02-10 18:58吵吵叭火的博客 Hive调优——数据倾斜指南
- 没有解决我的问题, 去提问
问题事件
系统已结题
8月16日
创建了问题
8月8日
悬赏问题
- ¥15 BP神经网络控制倒立摆
- ¥20 要这个数学建模编程的代码 并且能完整允许出来结果 完整的过程和数据的结果
- ¥15 html5+css和javascript有人可以帮吗？图片要怎么插入代码里面啊
- ¥30 Unity接入微信SDK 无法开启摄像头
- ¥20 有偿 写代码 要用特定的软件anaconda 里的jvpyter 用python3写
- ¥20 cad图纸，chx-3六轴码垛机器人
- ¥15 移动摄像头专网需要解vlan
- ¥20 access多表提取相同字段数据并合并
- ¥20 基于MSP430f5529的MPU6050驱动，求出欧拉角
- ¥20 Java-Oj-桌布的计算