hivi怎么同步到Oracle

Question

最近用到hadoop的HIVE，不知道怎么和ORACLE同步啊，谁能给个简单的例子

Answer 1

hive库是基于hadoop的数据仓库工具。

可将数据文件格式化为一个数据表，并对外提供一个sql查询。

但是hive库不支持 insert into。。。values()

             不支持 delete....

             不支持 update....

只能使用insert overwrite table *** select * from **

         create table ** select **

除此之外，sqoop工具，提供了从多种数据库与hive库间的同步功能，其中以oracle同步数据到hive为例。

sqoop import -D oracle.sessionTimeZone=Asia/Shanghai \ #不多说，一看便知，格式化时区
--connect jdbc:oracle:thin:@127.0.0.1:1521:ss \ #数据的基本链接
--username root \
--password root \
--table t_table \ #oracle中需要被同步的表格
--columns KEY,KPV,KTIME \ #假设oracle表的字段很多很多。此处是需要同步的字段。注意是大写的！！！！
--where "TRUNC(KTIME)>=TRUNC(ADD_MONTHS(SYSDATE,-1),'month') AND TRUNC(KTIME)<=TRUNC(LAST_DAY(ADD_MONTHS(SYSDATE,-1)))" \ #假设很多很多数据，我只要上个月的数据。
--warehouse-dir /hadoop/zc/t_table \ #sqoop同步到hive中中间数据存储的位置。
--hive-import \ #同步到hive里面
-m 1 \ #map的个数
--split-by KEY \ #根据KEY字段分区
--hive-table hive.table \ #同步到hive库的table表中
--hive-overwrite #如果有数据的话，全部覆盖

其中oracle的同步需要注意时区的格式化。

oracle同步如果不指定split-by会同步失败
CSDN移动问答