sqoop从postgre全量抽取数据到hive出现cannot resolve sql type for 1111 10C

最近刚接触sqoop,在使用时出现问题,请问大神们该问题如何解决?
要抽取的postgre表中的extra存在json类型的数据,抽取时出现cannot resolve sql type for 1111 和 no java type for sql type for column extra错误,根据https://blog.csdn.net/Post_Yuan/article/details/79799980和https://blog.csdn.net/lookqlp/article/details/52096193看了两篇文章,对sqoop语句做了如下修改:
最开始没有加--map-column-hive Extra=String \和--map-column-java Extra=String \的sqoop语句如下
sqoop import \
--connect jdbc串\
--username 用户名 \
--password 密码\
--table 表名 \
--null-string '\N' \
--null-non-string '\N' \
--hive-overwrite \
--hcatalog-database hive数据库名\
--hcatalog-table hive中创建好的表名 \
--hcatalog-partition-keys dt \
--hcatalog-partition-values 20180913 \
--as-parquetfile \
-m 1
此时报错cannot resolve sql type for 1111 和 no java type for sql type for column extra
加上--map-column-hive Extra=String \和--map-column-java Extra=String \
sqoop import \
--connect jdbc串\
--username 用户名 \
--password 密码\
--table 表名 \
--null-string '\N' \
--null-non-string '\N' \
--map-column-hive Extra=String \
--map-column-java Extra=String \
--hive-overwrite \
--hcatalog-database hive数据库名\
--hcatalog-table hive中创建好的表名 \
--hcatalog-partition-keys dt \
--hcatalog-partition-values 20180913 \
--as-parquetfile \
-m 1
此时报错The connection attempt failed.
connect timed out
Closed a connection to metastore, current connections: 0

0

1个回答

0
Phoebe_Ma
Phoebe_Ma 你好~谢谢您的解答,这个博客我也看了,可能我没理解到吧~目前我遇到的问题是:在抽取数据时,先在hive建好表,然后抽取数据,hive中的表在原表字段的基础上增加了一个日期作为分区~
9 个月之前 回复
Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!
其他相关推荐
Sqoop从PostgreSQL导入Hive遇到的两个问题
昨天尝试使用Sqoop从PostgreSQL向Hive中迁移数据,过程中遇到两个问题,在此记录一下,以备以后遇到类似问题可以快速找到解决方案。 问题1:当PostgreSQL表中有json类型时Sqoop命令报以下错误 No Java type for SQL type 1111 for column voting_info 解决方案:sqoop命令中添加以下类型映射 --...
sqoop全量导入与增量导入sqlserver数据
sqoop全量导入与增量导入sqlserver数据1.全量导入正常导入即可2.增量导入sqoop支持两种增量导入到hive的模式, 一种是 append,即通过指定一个递增的列,(如果没有可以插入一列自增的数)比如: --incremental append  --check-column id --last-value 0 另一种是可以根据时间戳,比如: --incremental lastmo...
使用 sqoop从MySQL增量导出数据到hive
使用 sqoop从MySQL增量导出数据到hive本文主要解释incremental参数下append模式和lastmodified模式的区别,想要了解具体其他参数请参考官方文档: http://sqoop.apache.org/docs/1.4.6/SqoopUserGuide.html#_importing_data_into_hive- 首先测试append模式/usr/bin/sqoop
sqoop定时增量抽取数据到hive
1、  第一次全量抽取,并创建hive表#keberos认证kinit -kt hdfs.keytab hdfs#从oracle导数据到hivesqoop import --connectjdbc:oracle:thin:@xx.xx.xx.xx:1521:xx\            --username xxx--password xxx\            --table PROD_FD...
sqoop定时导入(全量+增量)sqlserver数据到HDFS
sqoop定时导入(全量+增量)sqlserver数据到HDFS增量导入采用创建sqoop job的形式,定时加载job即可创建job bin/sqoop job \ --create s_ods_ol_user_app \ -- import \ --connect 'jdbc:sqlserver://10.31.24.236:1433;database=ODS_DB_V3' \ --usern...
Sqoop全量数据导入、增量数据导入、并发导入 (Sqoop进阶)
Sqoop支持两种方式的全量数据导入和增量数据导入,同时可以指定数据是否以并发形式导入。下面依次来看: 全量数据导入 就像名字起的那样,全量数据导入就是一次性将所有需要导入的数据,从关系型数据库一次性地导入到Hadoop中(可以是HDFS、Hive等)。全量导入形式使用场景为一次性离线分析场景。用sqoop import命令,具体如下: # 全量数据导入 sqoop import...
sqoop从sqlserver导入数据操作指令及hive创建表过程
sqoop从sqlserver导入数据操作指令及hive创建表过程#sqoop从sqlserver导入数据到HDFS上,指定存储目录。设置m(mr)数量bin/sqoop import \--connect 'jdbc:sqlserver://xx.xx.xx.xxx:1433;database=库名' \--username 'root' \--password 'root' \--table ...
sqoop oracle2hive 通过表名表抽取 和 通过sql抽取 列切分异常
需求:之前数据从生产系统抽取到hive数据仓库都是全表抽取,然后在仓库接口层 或者在ods前置机上处理。因为项目需要 ,部分全量表是直接按表名抽取 ,部分增量 通过sql 添加where 条件来筛选数据。环境:sqoop 版本Sqoop 1.4.6-cdh5.12.1 hadoop使用cdh版本现象:sqoop 使用SQL抽取 sqoop import --connect jdbc:orac...
sqoop抽取数据到hive(DDL创建)
将Sqlserver中数据抽取到HIVE外部表:F_WORKSTATION 1.sqool语句: sqoop  import --connect "jdbc:sqlserver://10.96.3.112:1433;database=SMES_CQ_2017" --username sa --password SMES@CQ --table F_WORKSTATION --target-dir...
使用sqoop从pg导入hive
1、第一次导入全量数据 sqoop import --connect jdbc:postgresql://ip:5432/dc_centerdb_xy --username dc_center_xy --password pg123 --verbose -m 5 --split-by ccc_dx_etl_time --table anaphylaxis_info --hive-impo...
利用sqoop从mysql向多分区hive表中导入数据
客户有需要需要把数据从传统数据库想hadoop平台迁移,他们利用sqoop
Sqoop增量导入Hive
欢迎使用Markdown编辑器写博客本Markdown编辑器使用StackEdit修改而来,用它写博客,将会带来全新的体验哦: Markdown和扩展Markdown简洁的语法 代码块高亮 图片链接和图片上传 LaTex数学公式 UML序列图和流程图 离线写博客 导入导出Markdown文件 丰富的快捷键 快捷键 加粗 Ctrl + B 斜体 Ctrl + I 引用 Ctrl
Sqoop全量同步mysql/Oracle数据到hive
Oracle通过sqoop增量同步数据到hive
使用sqoop将数据从oracle导入到Hive
1、基本环境篇    操作系统:Ubuntu 16.04 LTS    Hadoop:2.92、安装及配置mysql   (1)安装mysql  $ sudo apt-get update    $ sudo apt-get install mysql-server   (2)启动mysql         $ service mysql start   (3)设置mysql开启自启动 $...
通过sqoop增量传送oracle数据到hive
从网上看到的一个oracle数据通过sqoop每日增量同步到hive的shell脚本,感觉以后会有用,作为参考,备查。[spark@store ~]$ cat oracle2hive_imcrement.sh#!/bin/bash #Please set the synchronize interval,unit is hour. update_interval=24 #Please s
使用sqoop迁移blob到Hive表
sqoop是一款开源的关系型数据库到Hadoop的迁移工具,对于通用的数据类型,如数值类型、字符类型、日期类型等sqoop可以提供无缝地迁移到Hadoop平台。但对于特殊类型,如LOB,使用sqoop迁移则有所限制。 对于CLOB,如xml文本,sqoop可以迁移到Hive表,对应字段存储为字符类型。 对于BLOB,如jpg图片,sqoop无法直接迁移到Hive表,只能先迁移到HDFS路径,然后再...
Sqoop从mysql抽取数据到hive中
应用场景 当我们部署搭建完sqoop后,之前的数据都放到了mysql中,现在我们需要把mysql中的数据抽取到hive中,那通过sqoop该如何操作呢? 操作步骤 1. 准备my
运用sqoop将数据从oracle导入到hive中的注意的问题
问题一:导入的列有换行符等其他字符如何解决 有一张新闻表,其中有一个字段类型为clob,为新闻的内容,里面有各种字符,其中就包括hive中默认的分隔符和自定义的分隔符。这样当导数据到hive中就会造成数据混乱。 网上参考了两个地址: http://www.th7.cn/Program/java/201608/920584.shtml http://stackoverflow.com
使用 Binlog 和 Canal 从 MySQL 抽取数据
数据抽取是 ETL 流程的第一步,我们常会需要从多个不同的 MySQL 实例中抽取数据,存入一个中心节点,或直接进入 Hive。借助 Canal 项目,我们能够通过 MySQL Binlog 进行数据抽取。
Sqoop 数据导入多分区Hive解决方法
Sqoop数据导入多分区hive解决方法 本节内容针对sqoop1,版本1.4.6 sqoop自身支持直接抽取数据进入hive,同时支持单分区格式的hive表数据导入,命令如下: sqoop import \ --connect jdbc:oracle:thin:@{IP}:@{PORT}:hive \ --username test --password test --ta
Sqoop分批导入Mysql上亿条数据的表到HDFS
因数据量过大,运行sqoop跑不动或者卡内存,于是通过写脚本分批导入到HDFS,然后再加载到Hive表中。 shell脚本如下: #!/bin/bash source /etc/profile host=127.0.0.1 for((i=1; i<=100; i++)) do start=$(((${i} - 1) * 100000 + 1)) end=$(...
sqoop将Mysql数据导入Hive中乱码问题解决
参考: https://blog.csdn.net/wangyang1354/article/details/52936400 https://www.cnblogs.com/wujiadong2014/p/6165720.html https://blog.csdn.net/leen0304/article/details/80534385 https://blog.csdn.net/c...
从mysql抽取数据到hive遇到的问题
数据迁移最大的影响是数据类型的不同导致数据不匹配,比如文本mysql中为text,到了hive就变成string,hive中int类型的都不带长度 重点是时间类型的转换 mysql中datetime类型的数据是这样的, hive中需要用timestamp来进行转换 mysql中date类型hive中也用date类型来匹配数据类型, 作者在hive中用tim...
使用sqoop导入postgresql数据到Hbase
随着业务和大数据技术的发展,越来越多的公司需要在后端架设Hbase数据库,而原有的业务则需要从各种RDBMS数据库中迁移到Hbase当中。Appach的sqoop(发音:[skup])就是基于这样的需求而诞生的,本文详细记录了一个通过sqoop将数据从postgresql迁移到Hbase,并定制row key的例子。
利用SQOOP将数据从数据库导入到HDFS(并行导入,增量导入)
利用SQOOP将数据从数据库导入到HDFS(并行导入,增量导入)
通过Sqoop工具将Oracle数据库中的表数据导入到Hive的过程
Sqoop是一款开源的工具主要用于在Hadoop(Hive,HBasw)与传统的数据库(mysql、postgresql...)间进行数据的传递,可以将一个关系型数据库(例如 MySQL ,Oracle ,Postgres等)中的数据导进到Hadoop的HDFS中,也可以将HDFS的数据导进到关系型数据库中。 将各种关系型数据导入Hive中,其实大同小异,这里就以Oracle数据为例
利用sqoop从数据源获取数据到hive的流程化
sqoop hive
大数据开发之sqoop&hive----记一次使用sqoop把mysql数据导入到hive中压缩使用snappy
最近一直在关注压缩这个问题,尤其是在hive上使用压缩。今天突然想到了,如果使用sqoop到数据到hive上的时候用压缩会怎么样呢?同时这个还涉及到我们的hadoop要能支持使用某一些压缩格式的。 #snappy安装 这次决定使用snappy这个压缩格式,但是我使用的hadoop-2.6.0-cdh5.7.0不是编译版的,在lib/native这个目录里是没有支持snappy的依赖包的,所以我们需...
使用Sqoop2从SqlServer数据库导入数据到Hdfs,再导入Hive2表中
  前言          最近在使用Sqoop2从Mysql,Oracle, SqlServer导入数据到HDFS,Mysql和Oracle的导入还比较简单,但是SqlServer导入过程中遇到了几个小问题,跟大家分享下,希望对遇到类似问题的朋友有点小帮助:Sqoop2创建Link        关于Sqoop2与Sqoop1的区别,安装与部署,可以点击这里看看这篇文章,这位大牛写的非常详细。要...
使用sqoop实现hive与mysql数据库间数据迁移的时,发现如下错误提示
执行 ./sqoop create-hive-table --connect jdbc:mysql://192.168.1.10:3306/ekp_11 --table job_log --username root --password 123456 --hive-table job_log 准备将关系型数据的表结构复制到hive中。但是提示如下一堆错误信息: Warning: /usr
Sqoop将SQLServer数据表导入HDFS
sqoop将关系型数据库,导入到hadoop集群中,供大家参考,一起学习。
从Hive导出数据到Oracle数据库--Sqoop
始发与个人博客:https://kongdada.github.io/ 实习老大让我把Hive中的数据导入Oracle数据库。摸索成功后记录如下: 首先解释一下各行代码: sqoop export # 指定要导入到Oracle的那张表(通常与hive中的表同名) --table TABLE_NAME # host_ip:导入oracle库所在的ip:导入的数据库 --connec...
sqoop导出hive表数据到mysql
直接在mysql里从本地文件系统导入数据 mysql》LOAD DATA LOCAL INFILE 'C:\\Users\\asys\\Documents\\Tencent Files\\13174605\\FileRecv\\2015082818' INTO TABLE track_log  FIELDS TERMINATED BY '\t' LINES TERMINATED BY '\r'
Sqoop将数据从oracle导入到hive时,数据错位问题
在使用sqoop将数据从oracle导入hive时,对数据进行验证,发现hive中的数据比oracle的多,然后发现多出来的数据严重错位,大量字段为null怀疑是某些字段含有了hive默认的分隔符,如“\n”,“\r”,“\01”解决办法是增加参数--hive-drop-import-delims来解决以下是http://archive.cloudera.com/cdh/3/sqoop/Sqoop...
sqoop 从oracle到hive数据错位,并产生很多null值,clob类型被截取成一小段一小段
1、在执行Sqoop从oracle和mysql导数到hive中时,出现hive数据错位,并产生很多null值: 原因是源数据中包含许多'\n'、'\r'、'\01'等字符,表在分割字段和行过程中出现错位; 解决方式:在Sqoop执行中增加属性–hive-drop-import-delims,在导入数据到hive中时,去掉数据中\n,\r和\01这样的字符; --hive-drop-imp
Sqoop导入sqlserver数据到HDFS和hive上的配置需求及问题
Sqoop导入sqlserver数据到HDFS和hive上的配置需求及问题 1.安装,下载安装包解压即可 2.在系统环境变量中设置HADOOP_HOME,指向安装目录; 3. 3.在系统环境变量中设置SQOOP_HOME与SQOOP_CONF_DIR;SQOOP_HOME = sqoop安装的根目录;SQOOP_CONF_DIR=$SQOOP_HOME/conf; 4.首先配置jdbc的SqlSe...
kettle数据抽取全量对比
kettle数据清洗抽取,全量对比记录,包含列转行,增加序列,字段拆分,对比记录
sqoop的全量导入,增量导入2种,减量导入
全量导入:将mysql表中全部数据都导入HDFS,如果HDFS中存在这个目录的话就会报错,默认存储的HDFS目录是  /user/root/XXX,括号中的内容都为解释,要运行的话就一行一行粘贴一起运行 bin/sqoop  import       (在sqoop的安装目录内,import表名是导入) --connect jdbc:mysql://192.168.5.120:3306/myh...
使用Azkaban通过sqoop将mysql数据同步Hive
使用Azkaban通过sqoop将mysql数据同步Hive中,本文主要有全量导入和增量导入
sqoop从greenplum到数据到hive中
关于sqoop原理详见官文,这里都不做介绍,此处就记录用sqoop把greenplum数据导到hive中的方法和我测试时候遇到的问题; 一:sqoop的解压安装后,配置sqoop-env.sh配置文件 二:把链接数据库的mysql-connector-java-5.1.3-jar包传到sqoop lib目录下 三:执行导入命令: sqoop import -m1 \    ------
文章热词 机器学习教程 Objective-C培训 交互设计视频教程 颜色模型 设计制作学习
相关热词 mysql关联查询两次本表 native底部 react extjs glyph 图标 java 入门 学习量 大数据学习数据从哪儿来