最近用到hadoop的HIVE,不知道怎么和ORACLE同步啊,谁能给个简单的例子
1条回答 默认 最新
- kissthedreamer 2014-09-01 06:35关注
hive库是基于hadoop的数据仓库工具。
可将数据文件格式化为一个数据表,并对外提供一个sql查询。
但是hive库不支持 insert into。。。values()
不支持 delete.... 不支持 update....
只能使用insert overwrite table *** select * from **
create table ** select **
除此之外,sqoop工具,提供了从多种数据库与hive库间的同步功能,其中以oracle同步数据到hive为例。
sqoop import -D oracle.sessionTimeZone=Asia/Shanghai \ #不多说,一看便知,格式化时区
--connect jdbc:oracle:thin:@127.0.0.1:1521:ss \ #数据的基本链接
--username root \
--password root \
--table t_table \ #oracle中需要被同步的表格
--columns KEY,KPV,KTIME \ #假设oracle表的字段很多很多。此处是需要同步的字段。注意是大写的!!!!
--where "TRUNC(KTIME)>=TRUNC(ADD_MONTHS(SYSDATE,-1),'month') AND TRUNC(KTIME)<=TRUNC(LAST_DAY(ADD_MONTHS(SYSDATE,-1)))" \ #假设很多很多数据,我只要上个月的数据。
--warehouse-dir /hadoop/zc/t_table \ #sqoop同步到hive中中间数据存储的位置。
--hive-import \ #同步到hive里面
-m 1 \ #map的个数
--split-by KEY \ #根据KEY字段分区
--hive-table hive.table \ #同步到hive库的table表中
--hive-overwrite #如果有数据的话,全部覆盖其中oracle的同步需要注意时区的格式化。
oracle同步如果不指定split-by会同步失败
CSDN移动问答本回答被题主选为最佳回答 , 对您是否有帮助呢?解决 无用评论 打赏 举报
悬赏问题
- ¥50 导入文件到网吧的电脑并且在重启之后不会被恢复
- ¥15 (希望可以解决问题)ma和mb文件无法正常打开,打开后是空白,但是有正常内存占用,但可以在打开Maya应用程序后打开场景ma和mb格式。
- ¥20 ML307A在使用AT命令连接EMQX平台的MQTT时被拒绝
- ¥20 腾讯企业邮箱邮件可以恢复么
- ¥15 有人知道怎么将自己的迁移策略布到edgecloudsim上使用吗?
- ¥15 错误 LNK2001 无法解析的外部符号
- ¥50 安装pyaudiokits失败
- ¥15 计组这些题应该咋做呀
- ¥60 更换迈创SOL6M4AE卡的时候,驱动要重新装才能使用,怎么解决?
- ¥15 让node服务器有自动加载文件的功能