[HIVE]中的insert into操作为什么非常慢

例如如下语句

 insert into table1 partition(xxx=xxx) select * from table2

即使数据只有两三条,也要2分钟,这是为什么?

0

3个回答

你可以这样查看hive的执行计划:

     > explain insert into t2 select value from t;
OK
Plan optimized by CBO.

Stage-3
  Stats-Aggr Operator
    Stage-0
      Move Operator
        table:{"name:":"default.t2"}
        Stage-2
          Dependency Collection{}
            Stage-1
              Map 1
              File Output Operator [FS_2]
                table:{"name:":"default.t2"}
                Select Operator [SEL_1] (rows=3 width=1)
                  Output:["_col0"]
                  TableScan [TS_0] (rows=3 width=1)
                    default@t,t,Tbl:COMPLETE,Col:NONE,Output:["value"]

Hive的执行要转化成若干步map-reduce的过程,而且可能要在多个节点间通信,所以即便很少的数据可能也是费了半天劲才执行出来的。就是说hive是为了处理大数据的,对于小数据的处理并不是优势。

0

hive不支持用insert语句一条一条的进行插入操作,也不支持update操作。数据是以load的方式加载到建立好的表中,数据一旦导入就不可以修改

0
0
Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!
其他相关推荐
SSM笔记-insert操作
SSM笔记-insert操作,关于insert标签的属性用法,对于支持自增数据库和不支持自增数据库的不同insert标签属性配置方法
kettle批量插入hive2,解决表输出速度慢问题
解决kettle使用表输出到hive2时,批量提交不起作用导致速度非常慢的问题,重新编译big-data-plugin插件使表输出支持对hive2批量提交,速度由几十条每秒提升到三千条每秒。
easyui在ie下的优化方案
easyui的项目方案,在火狐、chrome以及最新版ie下可以正常渲染 但在臭名昭著的ie8以下浏览器确实非常慢,简直到了无法忍受的地步 但无奈项目需要兼顾ie6~8,故对此进行了研究,整理了优化方案 优化后虽不能达到火狐、chrome渲染的效率(此乃ie的硬伤),但速度已能提高好多倍
CDH550@hive 使用及操作说明
cdh5.5.0下的hive的使用和操作介绍。hive作为数据SQL解析引擎,分析、处理数据;Hadoop提供的分布式文件系统(HDFS)作为数据文件的存储介质;Zookeeper作为分布式协调服务器存在,用于管理集群中各节点状态
java操作Hive源码之HiveJDBC实例(mysql数据库)
java操作Hive源码之HiveJDBC实例(mysql数据库),附带所需jar包,欢迎下载学习。
解决开机慢的简便方法
解决开机慢的方法解决开机慢的方法解决开机慢的方法
presto和hive的使用区别
Hive是把一个查询转化成多个MapReduce任务,然后一个接一个执行。执行的中间结果通过对磁盘的读写来同步。然而,Presto没有使用MapReduce,它是通过一个定制的查询和执行引擎来完成的。它的所有的查询处理是在内存中,这也是它的性能很高的一个主要原因。
大数据java操作hive
此文档为学习大数据笔录的一些基础配置,能够让你从知道如何用java去操作hive
mkl库资料
INTEL mkl库资料
Oracle数据库慢分析
Oracle数据库慢分析,有用有用有用有用有用有用有用有用
Hive JDBC连接
hive2.3.2 JDBC连接 ,sql developer可用。选择第三方jdbc,加入,就可以显示hive连接。用的cloudra的jdbc用于连接操作数据库,java开发请使用maven获取开源组件。
Linux环境下maven编译好的RocketMQ最新版本4.3.0
Linux环境下maven编译好的RocketMQ最新版本4.3.0;centos_64+maven-3.2.5+jdk-1.8
hive 分组取TopN
hive不直接支持分组取TopN的操作,需要自定义udf函数打成jar包添加到hive运行环境中
hive技巧,文件主要是增加一列技巧,如果确认业务需要这样倾斜的逻辑
hive技巧分享如果确认业务需要这样倾斜的逻辑,考虑以下的优化方案: 1、对于join,在判断小表不大于1G的情况下,使用map join 2、对于group by或distinct,设定 hive.groupby.skewindata=true 3、尽量使用上述的SQL语句调节进行优化
局域网共享打印机打印速度很慢_如何解决
这是一篇详细介绍局域网共享打印机打印速度很慢_如何解决的文章,需要的大家可以收藏,以后或许能用得上。
inceptor-driver 4.3.jar
這是inceptor-driver 4.3.jar,上次上传的是4.6,不过這种资源实在太少了。
最新phpcms后台响应缓慢解决办法
最新phpcms后台响应缓慢解决办法
解决PB中insert control出现内存错误的方法已经测试成功
PB软件中普遍出现insert control出现内存或其他错误,网上有许多说法,测试了许多只有这一个成功了,特放上来,供参考
HIVE操作注册表.rar
HIVE操作注册表.rar HIVE操作注册表.rar HIVE操作注册表.rar
Hive操作笔记(呕心沥血制作)
Hive操作笔记(呕心沥血制作)Hive操作笔记(呕心沥血制作)Hive操作笔记(呕心沥血制作)Hive操作笔记(呕心沥血制作)Hive操作笔记(呕心沥血制作)Hive操作笔记(呕心沥血制作)Hive操作笔记(呕心沥血制作)Hive操作笔记(呕心沥血制作)Hive操作笔记(呕心沥血制作)
Hive on Spark 性能优化
Hive on Spark是由Cloudera发起,由Intel、MapR等公司共同参与的开源项目,其目的是把Spark作为Hive的一个计算引擎,将Hive的查询作为Spark的任务提交到Spark集群上进行计算。通过该项目,可以提高Hive查询的性能,同时为已经部署了Hive或者Spark的用户提供了更加灵活的选择,从而进一步提高Hive和Spark的普及率。本文参照CDH官方文档翻译而来,分享给大家
hadoop+hive+mapreduce的java例子
基于hadoop的Hive数据仓库JavaAPI简单调用的实例,关于Hive的简介在此不赘述。hive提供了三种用户接口:CLI,JDBC/ODBC和 WebUI CLI,即Shell命令行 JDBC/ODBC 是 Hive 的Java,与使用传统数据库JDBC的方式类似 WebGUI是通过浏览器访问 Hive 本文主要介绍的就是第二种用户接口,直接进入正题。 1、Hive 安装: 1)hive的安装请参考网上的相关文章,测试时只在hadoop一个节点上安装hive即可。 2)测试数据data文件'\t'分隔: 1 zhangsan 2 lisi 3 wangwu 3)将测试数据data上传到linux目录下,我放置在:/home/hadoop01/data 2、在使用 JDBC 开发 Hive 程序时, 必须首先开启 Hive 的远程服务接口。使用下面命令进行开启: Java代码 收藏代码 hive --service hiveserver >/dev/null 2>/dev/null & 我们可以通过CLI、Client、Web UI等Hive提供的用户接口来和Hive通信,但这三种方式最常用的是CLI;Client 是Hive的客户端,用户连接至 Hive Server。在启动 Client 模式的时候,需要指出Hive Server所在节点,并且在该节点启动 Hive Server。 WUI 是通过浏览器访问 Hive。今天我们来谈谈怎么通过HiveServer来操作Hive。   Hive提供了jdbc驱动,使得我们可以用Java代码来连接Hive并进行一些类关系型数据库的sql语句查询等操作。同关系型数据库一样,我们也需要将Hive的服务打开;在Hive 0.11.0版本之前,只有HiveServer服务可用,你得在程序操作Hive之前,必须在Hive安装的服务器上打开HiveServer服务,如下: 1 [wyp@localhost/home/q/hive-0.11.0]$ bin/hive --service hiveserver -p10002 2 Starting Hive Thrift Server 上面代表你已经成功的在端口为10002(默认的端口是10000)启动了hiveserver服务。这时候,你就可以通过Java代码来连接hiveserver,代码如下:
insert/update同时执行(mysql,oracle,sqlserver)
判断是否存在,存在就update,不存在insert,不是用存储过程解决的。
centos5.5安装oracle10g
centos5.5安装oracle及常见问题,解决了insert慢的问题
pic12f629单片机 看门狗程序
这个对pic12f629单片开发写的看门狗程序。都测试好了的,,,小芯也会有大作为
解决MyEclipse7.0速度慢秘诀
解决MyEclipse7.0速度慢秘诀解决MyEclipse7.0速度慢秘诀
使用IDEA工具连接CDH集群里面的hive组件
IDEA工具 连接CDH集群里面的hive组件 亲自测试通过 可以连接使用
VB.NET操作Access数据库(Update,Insert,delete,select)
经典之作,我是根据已有的程序进行修改的,我想是比较完善的作品。 该实例中我编写了一个类ClsSetAccess,主要包括两个函数:1.执行数据不返回任何值mdbExecuteNonQuery 2.执行数据返回单个值mdbExecuteNonQuery。如果你需要可以下载,里面注释得很清楚
spark hive jdbc 连接 增删改查 代码
spark hive jdbc 连接 增删改查 代码
局域网访问速度慢、文件传输慢的解决方法
局域网访问速度慢、文件传输慢的解决方法,包含需要的软件
Hive基本操作命令大全
该文档详细的介绍了hive的命令操作,从增删改查等方面进行整理,同时还有补充的一些命令操作。
MybatisPlus中使用通用CRUD实现插入操作示例代码
MybatisPlus中使用通用CRUD实现插入操作示例代码
HIVE环境搭建及常用操作
用于HIVE入门的介绍,包括hive是什么,hive的安装部署详细步骤,hive的数据类型及常用的操作
Hive用户指南
hive 用户指南,hive的基本语法操作
用友客户端访问server 2008服务器慢的问题
用友客户端访问server 2008服务器慢的问题
excel 文件中批量生成 insert语句 sql
网上搜到的 分享给大家 excel 文件中批量生成 insert语句
修改hive表分区名称
hive表修改分区数据
VC6 开发操作mysql数据库 代码 +sql文件 测试可用
VC6 开发操作mysql数据库 代码 +sql文件 测试可用
C# 读取Hive 需要的odbc驱动 64位
C# 操作Hadoop 生态里 Hive 数据仓库 需要的odbc驱动 64位
Office2007打开word和excel文件速度慢,在两个打开的word文件之间切换的速度慢,如何处理?
Office2007打开word和excel文件速度慢,在两个打开的word文件之间切换的速度慢,处理方法
文章热词 机器学习教程 Objective-C培训 交互设计视频教程 颜色模型 设计制作学习
相关热词 mysql关联查询两次本表 native底部 react extjs glyph 图标 nlp培训非常强调 为什么学python