你好杰米 2018-06-20 09:59 采纳率: 87.5%
浏览 10259
已采纳

[HIVE]中的insert into操作为什么非常慢

例如如下语句

 insert into table1 partition(xxx=xxx) select * from table2

即使数据只有两三条,也要2分钟,这是为什么?

  • 写回答

3条回答 默认 最新

  • 书香门第 2018-06-21 01:54
    关注

    你可以这样查看hive的执行计划:

         > explain insert into t2 select value from t;
    OK
    Plan optimized by CBO.
    
    Stage-3
      Stats-Aggr Operator
        Stage-0
          Move Operator
            table:{"name:":"default.t2"}
            Stage-2
              Dependency Collection{}
                Stage-1
                  Map 1
                  File Output Operator [FS_2]
                    table:{"name:":"default.t2"}
                    Select Operator [SEL_1] (rows=3 width=1)
                      Output:["_col0"]
                      TableScan [TS_0] (rows=3 width=1)
                        default@t,t,Tbl:COMPLETE,Col:NONE,Output:["value"]
    
    

    Hive的执行要转化成若干步map-reduce的过程,而且可能要在多个节点间通信,所以即便很少的数据可能也是费了半天劲才执行出来的。就是说hive是为了处理大数据的,对于小数据的处理并不是优势。

    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论
查看更多回答(2条)

报告相同问题?

悬赏问题

  • ¥15 TLS1.2协议通信解密
  • ¥40 图书信息管理系统程序编写
  • ¥20 Qcustomplot缩小曲线形状问题
  • ¥15 企业资源规划ERP沙盘模拟
  • ¥15 树莓派控制机械臂传输命令报错,显示摄像头不存在
  • ¥15 前端echarts坐标轴问题
  • ¥15 ad5933的I2C
  • ¥15 请问RTX4060的笔记本电脑可以训练yolov5模型吗?
  • ¥15 数学建模求思路及代码
  • ¥50 silvaco GaN HEMT有栅极场板的击穿电压仿真问题