2 u012470804 u012470804 于 2017.01.16 15:03 提问

sqoop中增量同步的问题 1C

其中我自己写了一条增量同步的语句
如下:
sqoop job --create MY_SQOOP_TEST -- import --connect jdbc:oracle:thin:@xxx:orcl --username XXX --password XXX --table MY_TEST --hive-import --hive-table MY_SQOOP_TEST --incremental lastmodified --check-column sj --last-value '2016/12/20 8:09:46'

我的理解是先创建my_sqoop_test,之后去oracle找到 my_test这张表,如果时间大于2016/12/20 8:09:46的数据则导入hive中的my_sqoop_test的表中. 这样子理解对吗?

如果是对的那么该如何运行这个job?

1个回答

dabocaiqq
dabocaiqq   2017.01.21 22:53
Csdn user default icon
上传中...
上传图片
插入图片
准确详细的回答,更有利于被提问者采纳,从而获得C币。复制、灌水、广告等回答会被删除,是时候展现真正的技术了!
其他相关推荐
sqoop中的增量更新
大数据大数据,这几天一直在研究SQOOP的使用功能,让我感觉到很头疼。下面的内容是我在研究增量更新的时候的一些案例: 一、首先在ORACLE数据库中创建一个一天内,秒级的时间表代码如下: CREATE TABLE TIME_HIVE AS  SELECT to_date(sysdate, 'yyyy-mm-dd') + rownum / 24 / 60 / 60 as DAY_ID   
sqoop增量导入问题
一. sqoop支持的两种增量导入 1.根据自增的id号 2.根据updateTime 这样增量更新会遇到一个数据重复的问题,比如我们每天增量更新昨天的数据(可以用cron或者oozie)都会把updateTime在昨天范围内的数据增量导入到hive仓库里面,如果我们源数据库中昨天之前的数据被更改,那么updateTime会被修改为昨天的时间,因为这条数据在之前就已经
通过sqoop增量传送oracle数据到hive
从网上看到的一个oracle数据通过sqoop每日增量同步到hive的shell脚本,感觉以后会有用,作为参考,备查。[spark@store ~]$ cat oracle2hive_imcrement.sh#!/bin/bash #Please set the synchronize interval,unit is hour. update_interval=24 #Please s
Sqoop增量从MySQL中向hive导入数据
Sqoop增量从MySQL中向hive导入数据
Sqoop全量和增量导入数据到Oracle数据库
1,全量导入 示例: –全量导入 sqoop import –connect jdbc:oracle:thin:@10.51.103.29:1521:DW –username FMIS9999 –password=FMIS9999 –table T_EMP –num-mappers 10 –hive-import –hive-database GRC_BIGDATA –hive-table
使用sqoop工具进行数据表增量导入
sqoop工具是hadoop环境下连接关系数据库和hadoop存储系统的桥梁,支持多种关系数据源和hive,hbase表格的相互导入。 一般情况下,关系数据表存在于线上环境的备份环境,需要每天进行数据导入。如果数据表较大,我们通常不可能每次都进行全表的导入。幸运的是,sqoop提供了增量导入数据的机制。下面就以mysql数据表为例,看一个例子。 假设在本地假设了Mysql服务器,我们需要每天从
Sqoop学习笔记 --- 增量导入数据到HBase
Sqoop学习笔记 --- 增量导入数据到HBase
sqoop 根据时间增量导入
sqoop 根据时间增量导入
Sqoop增量导入实战
sqoop增量实战
使用 sqoop从MySQL增量导出数据到hive
使用 sqoop从MySQL增量导出数据到hive本文主要解释incremental参数下append模式和lastmodified模式的区别,想要了解具体其他参数请参考官方文档: http://sqoop.apache.org/docs/1.4.6/SqoopUserGuide.html#_importing_data_into_hive- 首先测试append模式/usr/bin/sqoop