sqoop从hdfs导入数据到mysql疑问 5C

需求:需要实现从sqlserver库中导入数据到mysql中,但实际上只导入了1条记录就结束了(实际数据600+条)。

查看了原因: 应该就是行分隔符引起了 只导入了一条就结束了 。

代码:

1、通过sqoop脚本将sqlserver导入到hdfs中:

sqoop import \
--connect "jdbc:sqlserver://192.168.1.130:1433;database=测试库" \
--username sa \
--password 123456 \
--table=t_factfoud \
--target-dir /tmp/sqoop_data/900804ebea3d4ec79a036604ed3c93a0_2014_yw/t_factfoud9 \
--fields-terminated-by '\t' --null-string '\N' --null-non-string '\N' --lines-terminated-by '\001' \
--split-by billid -m 1

2、通过sqoop脚本将hdfs数据导出到mysql中:

sqoop export \
--connect 'jdbc:mysql://192.168.1.38:3306/xiayi?useUnicode=true&characterEncoding=utf-8' \
--username root \
--password 123456 \
--table t_factfoud \
--export-dir /tmp/sqoop_data/900804ebea3d4ec79a036604ed3c93a0_2014_yw/t_factfoud9 \
-m 1 \
--fields-terminated-by '\t' \
--null-string '\N' --null-non-string '\N' \
--lines-terminated-by '\001'

现在执行结果:
1、sqlserver库中 表 t_factfoud 中有 600 条记录,已正确到到hdfs中 。
2、从hdfs导出到mysql,只正确导入了一条,就结束了。

效果图如下:

图片说明

3个回答

提醒一下,你的数据没有脱敏就这样放上来不太好。我们做项目的首先考虑的就是数据安全性。多嘴了,勿怪。

--lines-terminated-by '\001'
你确定导入的数据是以这个 为行分隔符吗,
hadoop dfs -cat /tmp/sqoop_data/900804ebea3d4ec79a036604ed3c93a0_2014_yw/t_factfoud9/* > temp.dat

看下文件temp.dat 是怎么分行的。

另外建议看下 sqoop 文档 --lines-terminated-by 是否 import 和 export 都支持

smartliukun
smartliukun 回复smartliukun: 或者 你试试 --lines-terminated-by '\0001' ,多加一个0
一年多之前 回复
smartliukun
smartliukun 回复xw07205050217: sorry,我没看图片,hdfs 上是以\001的,但是 sqoop export 是否支持 这个 --lines-terminated-by \001
一年多之前 回复
xw07205050217
梦想只在梦中了 temp.dat 文件中 是 SOH 分行的
一年多之前 回复
xw07205050217
梦想只在梦中了 分行符是使用的\001
一年多之前 回复
xw07205050217
梦想只在梦中了 看了 ,分行的 就是 SOH
一年多之前 回复

--lines-terminated-by

Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!
其他相关推荐
SQOOP从MySQL导入数据到HDFS
一、Sqoop导入的参数是import 可以通过sqoop import –help查看import的具体用法 [root@hadoop001 conf]# sqoop import --help 参数太多就不列举了,大家可以自己去测试看看。 二、导入数据 1、执行以下命令 sqoop import –connect jdbc:mysql://hadoop001:3306/sqoo
sqoop从mysql导入数据到hdfs和hive
//验证sqoop是否连接到mysql数据库sqoop import --connect 'jdbc:mysql://n1/guizhou_test?useUnicode=true&characterEncoding=utf-8' --username root --password root --query 'select * from family where familyid>...
sqoop 从mysql导入数据到hdfs、hive
1.上传sqoop安装包 2.安装和配置 在添加sqoop到环境变量 将数据库连接驱动拷贝到$SQOOP_HOME/lib里 3.使用 第一类:数据库中的数据导入到HDFS上 sqoop import --connect jdbc:mysql://hadoop07:3306/test --username root --password 123  --table user_in
sqoop 从 MySQL 导入数据到 hdfs 中
MYSQL 数据导入到 HDFS sqoop import --connect jdbc:mysql://192.168.66.4:3306/networkmanagement \ --username sendi \ --password 1234 \ --table people \ --columns "name,age" \ --where "age>18" \ --targ...
Sqoop从mysql导入数据至HDFS操作(sqoop初级)
  后面文章打算用flume + kafka + SlipStream流处理结合起来做一个黑名单访问实时监测数据案例,所以就不单独介绍每个组件具体的用法了,直接在实战中让大家直观感受下在生产环境中这些组件是如何配套使用的。由于Sqoop比较独立,所以它的实践还是单独拿出来在本篇博文中讲解好了。   MySQL端操作(待导出的数据库) 1、创建用于导出数据用户并赋予权限。 以root用户登...
从mysql导入数据到hdfs
测试sqoop能否成功连接宿主机器上的mysql:     sqoop list-tables --connect jdbc:mysql://机器名或IP:3306/sqoop --username sqoop --password sqoop     从mysql导入数据到Hdfs命令 :   sqoop import --connect jdbc:mysql://机器名...
sqoop导入数据到hdfs路径
sqoop导入数据到hdfs,所有相关的操作命令均在更改相关地址就行。
Sqoop导入数据到HDFS上
Sqoop导入数据到HDFS上flume收集日志:主动的和被动的看文档sqoop底层是MR,要运行sqoop要有yarn环境,做大数据平台和关系型数据库导入导出工具,必须要有连接数据库的驱动1、node1节点上已经安装了mysql,并允许远程连接:[root@node1 ~]# service mysql start[root@node1 ~]# service mysql status 2、将数据
sqoop导入数据到hdfs
10.1 Sqoop概述 Sqoop是一款开源的工具,主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql…)间进行数据的传递,可以将一个关系型数据库(例如 : MySQL ,Oracle ,Postgres等)中的数据导进到Hadoop的HDFS中,也可以将HDFS的数据导进到关系型数据库中。 Sqoop项目开始于2009年,最早是作为Hadoop的一个第三方模块存...
Sqoop导入数据到hdfs
从Postgre导入数据到hdfs需要是用Sqoop。Sqoop是一个开源的工具,能将数据表从关系数据库导入HDFS或Hive上。 安装Sqoop配置好环境,执行命令: sqoop import --connect jdbc:postgresql://1.1.1.1:5432/lrs --username user --password psswd --table table_statemen
sqoop 从mysql 导入数据到hbase
首先我们在mysql有一张表test.tohdfs我们在hbase中也创建一张表,执行导入bin/sqoop import \--connect jdbc:mysql://make.hadoop.com:3306/test \--username root \--password 123456 \--table tohdfs  \--hbase-table hbase_tohdfs \--colu...
SQOOP从MySQL导入数据到Hive
一、导入Hive表时自动创建表 1、执行sqoop语句sqoop import \ --connect jdbc:mysql://hadoop001:3306/sqoop \ --username root \ --password 123456 \ --table emp_etl \ -m 1 \ --hive-import \ --create-hive-table \ --hive-tab
1.4 使用Sqoop从MySQL数据库导入数据到HDFS
1.4 使用Sqoop从MySQL数据库导入数据到HDFS
sqoop从mysql导入到hdfs
在看mahout cookbook,p85有个sqoop导入数据到mysql的例子。rnrnsqoop import-all-tables --connect jdbc:mysql://localhost/bbdatabank --user root -P --verbosernrn书上给的导入结果是这样,文件形式:rnrnhadoop fs –lsrnFound 25 itemsrn-rw-rw-rw- 1 hadoop-mahout hadoop 601404 2013-01-15 14:33 TEAMSrn-rw-rw-rw- 1 hadoop-mahout hadoop 601404 2013-01-15 14:33 ALLSTARFULLrn-rw-rw-rw- 1 hadoop-mahout hadoop 601404 2013-01-15 14:33 APPEARANCESrn-rw-rw-rw- 1 hadoop-mahout hadoop 601404 2013-01-15 14:33 AWARDSMANAGERSrn-rw-rw-rw- 1 hadoop-mahout hadoop 601404 2013-01-15 14:33 AWARDSPLAYERSrnrn我的是这样,文件夹形式:rnrnhadoop fs -lsrnFound 25 itemsrndrwxr-xr-x - hadoop hadoop 0 2014-09-11 09:57 AllstarFullrndrwxr-xr-x - hadoop hadoop 0 2014-09-11 09:58 Appearancesrndrwxr-xr-x - hadoop hadoop 0 2014-09-11 09:58 AwardsManagersrndrwxr-xr-x - hadoop hadoop 0 2014-09-11 09:58 AwardsPlayersrndrwxr-xr-x - hadoop hadoop 0 2014-09-11 09:58 AwardsShareManagersrndrwxr-xr-x - hadoop hadoop 0 2014-09-11 09:59 AwardsSharePlayersrndrwxr-xr-x - hadoop hadoop 0 2014-09-11 09:59 Battingrndrwxr-xr-x - hadoop hadoop 0 2014-09-11 09:59 BattingPostrnrn hadoop fs -ls TeamsrnFound 2 itemsrn-rw-r--r-- 2 hadoop hadoop 0 2014-09-11 10:03 Teams/_SUCCESSrn-rw-r--r-- 2 hadoop hadoop 562368 2014-09-11 10:03 Teams/part-m-00000rnrn难道是我的姿势不对?还是版本关系?或者设置什么的?rn目前还没办法深究,于是问问大家。
SQOOP从HDFS导出数据到MySQL
一、HDFS上的数据查看[root@hadoop001 opt]# hadoop fs -text emp.txt /data/emp.txt 1250 yangyamei doctor 1251 zhangzhenxing doctor 1261 zhangjun nurse 1265 Bob doctor二、MySQL数据库创建接收数
Sqoop导入数据到HDFS的一些常用设置
    *只导入表中数据的某些列 bin/sqoop import \ --connect jdbc:mysql://192.168.83.112:3306/test \ --username root \ --password root  \ --table student \ --target-dir /user/root/sqoop/import/student \ --num-mapp...
sqoop导入数据到hdfs的高级用法
Hadoop分布式文件系统(HDFS)和MapReduce的工作原理 如何优化Hadoop机群所需要的硬件配置 搭建Hadoop机群所需要考虑的网络因素 如何利用Hadoop配置选项进行系统性能调优 如何利用FairScheduler为多用户提供服务级别保障 Hadoop机群维护和监控 如何使用Flume从动态生成的文件加载数据到Hadoop
Sqoop 导入数据到hdfs和hive总结
  使用帮助 Sqoop help 查看所有的sqoop的帮助 Sqoop help import 查看import命令的帮助   Eg: sqoop导入到HDFS的一个简单示例: sqoop import         --connect jdbc:mysql://192.168.56.121:3306/metastore         --username hiv...
Sqoop从MySQL导入数据到Hive的Shell脚本
因工作需求,要将mysql的数据导入到Hive中通过Spark SQL进行分析,经过一翻周折,完成了这个自动化脚本,算是实现需求的第一步,也算是在Shell编程这条路上算是迈出了第一步。 mysql中每天一张表,hive中一个表,按时间分区,如dt=180820. 以下是导数据的Shell脚本: #!/bin/bash source /etc/profile host=127.0.0.1 ...
sqoop 从mysql 导入数据到 hbase 中
MYSQL 到 HBASE bin/sqoop import --connect jdbc:mysql://192.168.66.4:3306/networkmanagement \ --username sendi \ --password 1234 \ --table alarm_result \ --hbase-table sqoop_test \ --column-f...
使用sqoop从MySQL导入数据到HBase
欢迎使用Markdown编辑器写博客本Markdown编辑器使用StackEdit修改而来,用它写博客,将会带来全新的体验哦: Markdown和扩展Markdown简洁的语法 代码块高亮 图片链接和图片上传 LaTex数学公式 UML序列图和流程图 离线写博客 导入导出Markdown文件 丰富的快捷键 快捷键 加粗 Ctrl + B 斜体 Ctrl + I 引用 Ctrl
SQOOP从mysql导入数据到hive问题
需要将mysql一张表的数据导入到hive表当中 初始的执行命令如下: sqoop import --connect jdbc:mysql://10.1.x.x:3306/dbname?characterEncoding=utf-8 --username root --password 123456 --table test --target-dir /home/hdfs/data/t...
sqoop从mysql导入数据到hive中
首先安装sqoop(zookeeper等已经成功启动),配置好; 1.下载安装包及解压 tar -zxvf  sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar mv sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar sqoop   2.配置环境变量和配置文件 cd %SQOOP_HOME% cp conf/sqoop
Sqoop从mysql导入数据到hive遇到的问题...
这次遇到的坑有点儿玄学。。。。也许是我用的sqoop和hive版本有问题,反正用其他方法解决了 在终端中运行的语句: 语句并没有问题 一开始遇到的情况是这样的: map跑完了100%但是reduce跑都没跑就结束了。。我就很诧异啊 看了hive的日志文件(如果没有修改过,路径就是/tmp/{username}/hive.log,我的用户是root所以路径是/tmp/root/hi...
SQOOP通过MyCat从MySQL导入数据到Hive
目录 1. hadoop、hive、sqoop、MySQL、MyCat安装(略) 2. 把MySQL Java链接器的jar文件拷贝到sqoop的lib目录下 3. 测试(必须在sqoop用户下) 4. 注意 5. SQOOP从MySQL导入数据到Hive脚本树形图 6. 计划任务脚本(bim_mysql_hive_wf.sh) 7. 邮件告警(已接入h...
SQOOP——MySQL 和 HDFS 的桥梁
将数据从 mysql import 到 HDFS 中我们要使用 mysql 的话,意味着要对其进行连接,自然使用 JDBC(Java Data Base Connectivity)。在之前配置 hive 的 mysql 时,我们已将 mysql-connector-java-5.1.10.jar 拷贝到 hive/lib 目录下,[root@hadoop0 ~]# cp $HIVE_HOME/lib
使用sqoop从mysql向hdfs传输数据
使用sqoop从mysql提取数据向hdfs存储时,报错java.sql.SQLException: Access denied for user 'root'@'miniz1' (using password: YES) at com.mysql.jdbc.SQLError.createSQLException(SQLError.java:964) at com.mysql.jdbc.Mys...
1.5 使用Sqoop从HDFS导出数据到MySQL
1.5 使用Sqoop从HDFS导出数据到MySQL
sqoop从HDFS/Hive导入导出mysql的使用
这里面有一套cdh版本的hadoop,hive,zookeeper,都是配套的 链接:https://pan.baidu.com/s/1wmyMw9RVNMD4NNOg4u4VZg 提取码:m888 sqoop主要用来,mysql---hive/hdfs,或者从hive/hdfs-mysql的导入导出 sqoop它是基于zookeeper的,所以得先开启zookeeper ...
sqoop从hdfs导出到mysql中
启动命令为: sqoop export --connect jdbc:mysql://master:3306/test --username root --P --table wordCount --export-dir /b.txt/part* -m 1 --fields-terminated-by ’ ’ 发现执行任务总是失败,后经过查看原始数据为: (a,1) (b,1) 更改程序使最终结果...
从HDFS导入数据到HBASE
数据库的执行能力 第一种方式从HDFS导入数据到HBASE 步骤:先从HDFS导入到MYSQL再到HBASE 创建OS_ORDER2表 create table OS_ORDER2(ORDER_ID int,ORDER_CODE bigint,BUYER_ID int ,CREATE_DT varchar(50),PAY_DT varchar(50),CREATE_IP varchar(3
[Sqoop基础]-- 导入数据到HDFS中(大数据存储系统)
环境准备:h15机器,mysql使用h15的,不用h17的mysql 配置hive的环境变量和hadoop的环境变量 注意: (1)一定要配置HADOOP_HOME和HIVE_HOME (2)和flume相似,要将sqoop放在active的namenode节点上   错误1:Error: Could not find or load main class org.apache.sqo...
用sqoop导入数据到HIVE和HDFS中
一:sqoop数据的导入 1.使用sqoop将:mysql中的数据导入到HDFS(直接导入) Step1、确定Mysql服务的正常开启 service mysql status                             Step2、在Mysql中创建一张表                                  mysql> crea
Hadoop Sqoop;从HDFS导入数据到MYSQL数据库中出现中文字符乱码
HDFS中的数据 其中有:"系统管理员/张三等中文字符" 执行: sqoop export --connect jdbc:mysql://192.168.2.251:3306/sys_app_user --username root --password root --table SYS_USER_copy --fields-terminated-by ',' --export-dir
Sqoop将HDFS数据导入MySQL
本课程主要是构建大数据平台,包含目前大数据常用的所有技术组件的环境部署。所有技术组件的安装部署,都是手把手操作,不会出现跳讲和断讲,0基础同学也能一站式搞定大数据平台环境。
Sqoop导入导出MySQL与HDFS数据
1. CentOS7环境下安装sqoop 下载地址, 这里选择1.4.7版本sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz http://archive.apache.org/dist/sqoop/1.4.7/ 传输到linux中,解压缩 修改系统环境变量/etc/profile, 添加sqoop/bin, 同时确保export HADOOP_HOME 进入sqoo...
Sqoop(3)—— Mysql数据导入HDFS
Sqoop(3)—— Mysql数据导入HDFS官方文档Sqoop导入导出的官方文档:http://sqoop.apache.org/docs/1.4.7/index.htmlhttp://sqoop.apache.org/docs/1.4.7/SqoopUserGuide.html执行Sqoop的两种方式http://sqoop.apache.org/docs/1.4.7/SqoopUserGu...
Sqoop将MySQL数据导入HDFS
本课程主要是构建大数据平台,包含目前大数据常用的所有技术组件的环境部署。所有技术组件的安装部署,都是手把手操作,不会出现跳讲和断讲,0基础同学也能一站式搞定大数据平台环境。
Sqoop导入数据
1)导入 MySQL -> HDFS (1) 全表导入 bin/sqoop import \ --connect jdbc:mysql://bigdata.ibeifeng.com:3306/testdb \ --username root \ --password root123 \ --table  user \ --target-dir /input/import \ --
如何从HDFS导入数据到ClickHouse
从ClickHouse 18.16.0版本开始支持从HDFS读文件,在 19.1.6 版本对HDFS访问功能进行了增强,支持读和写,在 19.4 版本以后开始支持Parquet格式。本文介绍了如何从HDFS中读数据到ClickHouse中,测试版本为:19.4 在访问HDFS之前需要定义一个访问HDFS的表,指定表引擎为HDFS。表创建完成后,就可以对这张表进行查询。 目录 一、查询CSV文件...
相关热词 c#入门推荐书 c# 解码海康数据流 c# xml的遍历循环 c# 取 查看源码没有的 c#解决高并发 委托 c#日期转化为字符串 c# 显示问号 c# 字典对象池 c#5.0 安装程序 c# 分页算法