[HIVE]中的insert into操作为什么非常慢

Question

例如如下语句

 insert into table1 partition(xxx=xxx) select * from table2

即使数据只有两三条，也要2分钟，这是为什么？

Answer 1

你可以这样查看hive的执行计划：

     > explain insert into t2 select value from t;
OK
Plan optimized by CBO.

Stage-3
  Stats-Aggr Operator
    Stage-0
      Move Operator
        table:{"name:":"default.t2"}
        Stage-2
          Dependency Collection{}
            Stage-1
              Map 1
              File Output Operator [FS_2]
                table:{"name:":"default.t2"}
                Select Operator [SEL_1] (rows=3 width=1)
                  Output:["_col0"]
                  TableScan [TS_0] (rows=3 width=1)
                    default@t,t,Tbl:COMPLETE,Col:NONE,Output:["value"]

Hive的执行要转化成若干步map-reduce的过程，而且可能要在多个节点间通信，所以即便很少的数据可能也是费了半天劲才执行出来的。就是说hive是为了处理大数据的，对于小数据的处理并不是优势。