u011856283
你好杰米
采纳率95%
2018-06-20 09:59 阅读 7.6k

[HIVE]中的insert into操作为什么非常慢

5

例如如下语句

 insert into table1 partition(xxx=xxx) select * from table2

即使数据只有两三条,也要2分钟,这是为什么?

  • 点赞
  • 写回答
  • 关注问题
  • 收藏
  • 复制链接分享

3条回答 默认 最新

  • 已采纳
    weixin_42325834 书香门第 2018-06-21 01:54

    你可以这样查看hive的执行计划:

         > explain insert into t2 select value from t;
    OK
    Plan optimized by CBO.
    
    Stage-3
      Stats-Aggr Operator
        Stage-0
          Move Operator
            table:{"name:":"default.t2"}
            Stage-2
              Dependency Collection{}
                Stage-1
                  Map 1
                  File Output Operator [FS_2]
                    table:{"name:":"default.t2"}
                    Select Operator [SEL_1] (rows=3 width=1)
                      Output:["_col0"]
                      TableScan [TS_0] (rows=3 width=1)
                        default@t,t,Tbl:COMPLETE,Col:NONE,Output:["value"]
    
    

    Hive的执行要转化成若干步map-reduce的过程,而且可能要在多个节点间通信,所以即便很少的数据可能也是费了半天劲才执行出来的。就是说hive是为了处理大数据的,对于小数据的处理并不是优势。

    点赞 评论 复制链接分享
  • u012157999 六月的星星 2018-06-20 14:11

    hive不支持用insert语句一条一条的进行插入操作,也不支持update操作。数据是以load的方式加载到建立好的表中,数据一旦导入就不可以修改

    点赞 评论 复制链接分享
  • devmiao devmiao 2018-06-20 15:07
    点赞 评论 复制链接分享

相关推荐