2 jingyukxy jingyukxy 于 2014.09.01 14:33 提问

hivi怎么同步到Oracle

最近用到hadoop的HIVE,不知道怎么和ORACLE同步啊,谁能给个简单的例子

1个回答

u012063630
u012063630   2014.09.01 14:35
已采纳

hive库是基于hadoop的数据仓库工具。

可将数据文件格式化为一个数据表,并对外提供一个sql查询。

但是hive库不支持 insert into。。。values()

             不支持 delete....

             不支持 update....

只能使用insert overwrite table *** select * from **

         create table ** select **

除此之外,sqoop工具,提供了从多种数据库与hive库间的同步功能,其中以oracle同步数据到hive为例。

sqoop import -D oracle.sessionTimeZone=Asia/Shanghai \ #不多说,一看便知,格式化时区
--connect jdbc:oracle:thin:@127.0.0.1:1521:ss \ #数据的基本链接
--username root \
--password root \
--table t_table \ #oracle中需要被同步的表格
--columns KEY,KPV,KTIME \ #假设oracle表的字段很多很多。此处是需要同步的字段。注意是大写的!!!!
--where "TRUNC(KTIME)>=TRUNC(ADD_MONTHS(SYSDATE,-1),'month') AND TRUNC(KTIME)<=TRUNC(LAST_DAY(ADD_MONTHS(SYSDATE,-1)))" \ #假设很多很多数据,我只要上个月的数据。
--warehouse-dir /hadoop/zc/t_table \ #sqoop同步到hive中中间数据存储的位置。
--hive-import \ #同步到hive里面
-m 1 \ #map的个数
--split-by KEY \ #根据KEY字段分区
--hive-table hive.table \ #同步到hive库的table表中
--hive-overwrite #如果有数据的话,全部覆盖

其中oracle的同步需要注意时区的格式化。

oracle同步如果不指定split-by会同步失败
CSDN移动问答

Csdn user default icon
上传中...
上传图片
插入图片
准确详细的回答,更有利于被提问者采纳,从而获得C币。复制、灌水、广告等回答会被删除,是时候展现真正的技术了!