shjniu3000 于 2016.03.15 18:39 提问
- sqoop export 多个表不成功
-
sqoop导单个表正常，能够导出数据
sqoop export --connect jdbc:mysql://192.168.80.101:3306/test --username root --password root \
--table RST_ERR_1 --export-dir /user/hive/warehouse/hubei.db/rst_err_1 --input-fields-terminated-by '\001'但是 我需要导出多个表，shell脚本中的语句如下
sqoop export --connect jdbc:mysql://192.168.80.101:3306/test --username root --password root \
--table RST_ERR_1 --export-dir /user/hive/warehouse/hubei.db/rst_err_1 --input-fields-terminated-by '\001'sqoop export --connect jdbc:mysql://192.168.80.101:3306/test --username root --password root \
--table RST_ERR_2 --export-dir /user/hive/warehouse/hubei.db/rst_err_2 --input-fields-terminated-by '\001'此时，第二个表的数据就不能导出了，请问多条导出语句应该如何写， 谢谢
-
- shjniu3000 2016.03.16 17:27
- 已采纳
36 16 * * * /home/analysis.sh >> /dev/null 2>&1
在定时任务中加上日志就可以了
-
- f445239051 2016.03.16 10:53
把你的报错贴出来，看卡具体原因
- 其他相关推荐
- Sqoop：容错
- 对于一个传输工具/平台，传输任务失败不可怕，可怕的地方在于“脏数据”如何处理，3种思路： 1. 临时表：使用临时表缓存数据，然后在一个transaction中将临时表的数据move到目的表 2. 自定义回滚：通过用户自定义的语句/方法，在任务失败后，执行清数据操作 3. 传输任务的幂等性：如果一个任务失败了，产生了脏数据，解决问题后，再跑一次任务，能够最终正确，例如hive写入使用INSERT OVERWRITE，
- Sqoop的import和export工具的使用几种案例
- Sqoop的import工具抽数的几种情况: 1. Hive表无分区，全量从Oracle中抽取数据到Hive的表中 sqoop import -D mapred.job.queue.name=root.myqueue \ --connect jdbc:oracle:thin:@192.168.1.128:1521:mydatabase \ --username jsz
- Sqoop使用整理
- 1. 概述 本文档主要对SQOOP的使用进行了说明，参考内容主要来自于Cloudera SQOOP的官方文档。为了用中文更清楚明白地描述各参数的使用含义，本文档几乎所有参数使用说明都经过了我的实际验证而得到。 2. codegen 将关系数据库表映射为一个java文件、java class类、以及相关的jar包，作用主要是两方面： 1、 将数据库表映射为一
- sqoop qoop-export 数据覆盖
- 问题导读： 1、Sqoop export有哪三种导出模式，Sqoop默认是哪个模式？ 2、INSERT模式和UPDATE模式区别，各自应用场景？ 3、--update-key 、--column-key、--export-dir参数各自的作用？ 4、--update-mode参数有哪两种模式，区别是什么？ 5、Sqoop 导出插入事务提交原理，一条插入语句包含多少条记
- sqoop export 数据覆盖更新
- sqoop的导出工具是把HDFS上文件中的数据导出到mysql中 mysql中的表 现在在linux上创建一个文件，并把这个文件上传到hdfs上 cat person.txt 7,no7,77 8,no8,88 $ hadoop fs -mkdir person_export $ hadoop fs -put -f person.txt person_export
- sqoop export工具把HDFS中的数据导入到rdbms系统中，实现方式有三种
- sqoop export工具把HDFS中的数据导入到rdbms系统中，实现方式有三种： (1)insert mode:生成insert语句然后执行，这是默认的方式 (2)update mode:生成update语句，替换数据库中的记录 (3)call mode:调用存储过程处理每一条记录： Common arguments Argument Description
- Sqoop的import和export工具常用选项
- 工具通用选项 import和export工具有些通用的选项，如下表所示： 选项 含义说明 --connect 指定JDBC连接字符串 --connection-manager 指定要使用的连接管理器类 --driver 指定要使用的JDBC驱动类 --hadoo
- sqoop的import与export及其脚本使用
- sqoop的import与export及其脚本使用
- Sqoop导入Oracle所有表，没有报错，但失败
- [root@node1 sqoop-1.4.7]# bin/sqoop import-all-tables --connect jdbc:oracle:thin:@node1:1521:ORA --username TEST --password test --hive-import --create-hive-table --hive-overwrite Warning: /opt/sqoop-...
- 解决sqoop导入关系库更新联合主键的问题
- [Author]: kwu --- sqoop导入关系库更新联合主键的问题，把数据从hive中导入关系库，如果关系库表有联合主键的情况，且需要把新导入的数据更新原来的数据