alibab DataX数据同步 如何同步多表数据

我现在需要mysql2mysql 同步多张表数据 但是Datax中 mysql2mysql.json中的table只能是单表的 如何实现多张表同时同步数据?请各位大牛给点意见。
{
"job": {
"content": [
{
"reader": {
"name": "mysqlreader",
"parameter": {
"column": ["*"],
"connection": [
{
"jdbcUrl": ["jdbc:mysql://127.0.0.1:3306/monitor"],
"table": ["user"]
}
],
"password": "123456",
"username": "root"
}
},
"writer": {
"name": "mysqlwriter",
"parameter": {
"column": ["*"],
"preSql": [
"delete from user"
],
"connection": [
{
"jdbcUrl": "jdbc:mysql://127.0.0.1:3306/monitor0913",
"table": ["user"]
}
],
"password": "123456",
"username": "root"
}
}
}
],
"setting": {
"speed": {
"channel": "1"
}
}
},

}

2个回答

用shell脚本读取表名(放在一个txt或者其他里),循环入参并执行下面语句
python datax.py -p"-Dtable=${表名}" oracle2mysql.json

djylove
djylove 这个还是单表的同步 “table”:["只能是单张表"]。 我现在需要同时同步多张不同的表,这个该怎么实现
接近 2 年之前 回复
Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!
其他相关推荐
Datax 数据同步
官方Hello入门例子{ "job": { "content": [ { "reader": { "name": "streamreader", "parameter": { "sliceRecordCount": 10, "colu
Datax 数据抽取同步
介绍一款开源的ETL工具 https://github.com/alibaba/DataX 下载软件包: wget http://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar.gz 解压并赋予权限: tar -zxvf datax.tar.gz chmod 755 datax 同步实例: 创建表han
datax同步es数据
xshell登录到服务器 进入到/home/datax目录底下 cd /home/datax 使用ps -auxww 查看下有多少datax进程 java -server -Xmx1g -XX:+HeapDumpOnOutOfMemoryError -XX:HeapDumpPath=./log -Dfile.encoding=UTF-8 -Dlogback.statusListenerCl...
【工具】Datax同步数据配置
1. dataX 说明 DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台,实现包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、OTS、ODPS 等各种异构数据源之间高效的数据同步功能。 2. 下载 使用git git clone git@github.com:ali...
使用DataX进行数据同步
DataX 是一个异构数据源离线同步工具,可以实现数据源之间的数据同步。 ODPSWriter插件适合于TB,GB数量级的数据传输,如果需要传输PB量级的数据,可以选择dt task工具 ; 工具下载 下载DataX wget http://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar.gz 解压DataX tar ...
使用datax进行数据同步
1.datax简介 datax简介在这篇博客中https://blog.csdn.net/a870542373/article/details/86474585 2.datax下载 datax下载地址:https://github.com/alibaba/DataX 钉钉用户可以加群: 3.datax概述      DataX 是一个异构数据源离线同步工具,致力于实现包括关系型数据库(...
DataX数据同步开源工具学习
DataX数据同步开源工具 阿里出的数据同步工具 数据从一个库迁移到另一个库 学习地址: 阿里帮助手册 github地址
阿里开源数据同步工具--DataX
阿里开源数据同步工具--DataX 是啥?: 是异构数据源离线同步工具 能干啥?: 能够将MySQL sqlServer Oracle Hive HBase FTP 之间进行稳定高效的数据同步。 设计思路: 网状连接-》 星型连接 看图: 目前支持哪些数据同步?: 核心架构: 推荐使用python 2.6 7 ...
Centos7 安装Datax 实现数据同步
1、下载压缩包 下载页面地址:https://github.com/alibaba/DataX 不要在【Clone or download】处下载,那里下载的是源码;对于Java不是很在行的人来说,自行编译显得有点困难。 而是在:【Quick Start】--->【Download DataX下载地址】进行下载。下载后的包名:datax.tar.gz。   2、环境依赖: Centos7...
kettle简单的多表数据同步【只同步数据,不建表】
多表数据转移,步骤如下:1、获取需要转移的表的表名2、同步每个表的数据总作业如下:其中:1、“获取多表”转换如下: 2、“同步单表数据”作业如下:(1)“变量设置”将表名设置为变量,根据需要自定义变量名即可。 (2)检查表是否存在,表名使用变量样式(3)迁移表数据,注意表名使用变量样式...
数据源同步工具DATAX
阿里开源的ETL工具,可以很好地用于不同数据元之间的数据同步
DataX以及增量同步
DataX DataX基本认识了解 Alibaba DataX调研使用 https://blog.csdn.net/aWDac/article/details/80822233 [推荐]DataX实战应用 https://blog.csdn.net/u010429286/article/details/82356121 DataX是由Alibaba开源的一款异构数据同步工具,可以在常见的各种数据源...
使用datax在mysql之间同步数据
使用datax在mysql之间同步数据   详细参考 github:https://github.com/alibaba/DataX/wiki/Quick-Start   1. 下载datax wget http://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar.gz   2. 解压、修改目录权限 tar zxv...
百万级数据多表同步
只说思路!只说思路!只说思路! 应用场景:百万级数据多表同步 实现思路:我用的是redis的list类型,我当初的应用场景是因为平台开始设计时候并没有打算把所有流水记录放在一个表中,而是一种币种,一个流水表。 像这种 假如说我想对所有币种进行一个查询、条件搜索、修改、分页、该怎么实现?触发器? unin all ? 不现实的。 最后我实现的思路是用redis的队列 进行一个异步增改...
阿里 离线数据同步工具 DataX 初试
DataX : 一个异构数据源离线同步框架,通过插件体系完成数据同步过程。reader插件用于读入,writer插件用于写出,中间的framework可以定义transform插件完成数据转化的需要。Sqoop 只支持关系型数据库与HDFS/Hive 之间的数据同步, DataX 则更为丰富。目前支持的数据源有:https://github.com/alibaba/DataX/wiki/DataX-
Datax抽取hbase数据
下载Datax 直接下载DataX工具包:DataX下载地址 解压并生成json模板: tar -zxvf datax.tar.gz [hdfs@192-168-16-71 datax]$ cd bin [hdfs@192-168-16-71 bin]$ ll total 40 -rwxrwxr-x 1 hdfs hdfs 8993 Nov 24 2017 datax.py -rwxrwx...
ORACLE同步数据 只将更新的数据同步
如题 两台linux机器 A 机器上有表 ONOFF 在A机器上建立 rn[code=SQL]rnCREATE MATERIALIZED VIEW LOG ON ONOFF;rn[/code]rn在B机器上创建DBLINK rn[code=SQL]rnCREATE PUBLIC DATABASE LINK A2B CONNECT TO USERNAME IDENTIFIED BY PASSWORD USING '(DESCRIPTION =rn (ADDRESS_LIST =rn (ADDRESS = (PROTOCOL = TCP)(HOST = 192.168.1.8)(PORT=1521))rn )rn (CONNECT_DATA =rn (SERVICE_NAME=ORCL)rn )rn)';rn[/code]rn再在B机器上创建物化视图rn[code=SQL]rn create materialized view onoff_mv refresh fast start with sysdate nextrn sysdate+1/24*60 as select * from ONOFF@A2B; rn[/code]rnrn现在是对这个表中的所有数据同步过来,我想只将ONOFF表中的新增数据同步过来 该如何实现 rnrn
Rsync数据同步及同步方式
Rsync数据同步及同步方式
kettle全量多表数据同步
XXXKETTLE全量多表数据同步 1 一. 建立资料库 3 1.1 添加资源库 3 二. 前期准备工作 7 2.1 异结构数据传输 7 2.2 数据校验 9 三. 建立转换 10 3.1 创建‘转换’(GET—ORACLE-TABLES) 10 3.1.1 创建数据源 10 3.1.2 添加核心对象 12 3.2 创建‘转换’(INSERT—MYSQL-TABLES) 15 3.2.1 创建数据源 15 3.2.2 添加核心对象 15 3.2.3 转换设置 17 四. 建立作业 18 4.1 创建‘ORACLE TO MYSQL’作业 18 4.2 添加核心对象 18 4.3 设置GET-TABLES 19 4.4 设置INSERT-MYSQL 23 五. 实验验证 28 5.1 ORACLE插入数据 28 5.2 执行JOB 29 5.3 MYSQL数据验证 30
datax定时同步在doker中自动化部署
一、Dockerfile文件编写 (1)这是一个Dockerfile的例子,我在这里用的是ubuntu 16: #基础镜像 FROM ubuntu:16.04 #安装必要的安装包,我这里用的是datax解压的版本,不需要maven,这里依赖环境python、jdk8、cron、rsyslog、tzdata  #cron这里是使用crontab,进行定时任务 RUN apt-get upd...
多表同步更新触发器
CREATE TRIGGER [dbo].[PURTG2] ON [dbo].[PURTG]rnFOR INSERTrnAS rn DECLARE @TG001 CHAR(4),@TG002 CHAR(11),@TG004 CHAR(11),@TG042 CHAR(11),@TH003 CHAR(4),@TH004 CHAR(20),@TH005 CHAR(60),@TH006 CHAR(60),@TH007 CHAR(10),@TH008 NUMERIC(16,6),@TH009 CHAR(4),@TH010 NUMERIC(16,6),@TH012 NUMERIC(17,8),@TH013 NUMERIC(16,2),@TH018 VARCHAR(255),@TG1 Bigint,@TG2 Bigint /*单别,单别,客户编号,单剧日期,序号,品号,品名,规格,仓库,数量,单位,单价,金额,备注*/rn SET @TG001='3300'rn SET @TG004='LCGX01' rn SET @TG1=(SELECT MAX(TG002) FROM COPTG)rn SET @TG2=@TG1+1rn--SELECT @TG042=TG014 FROM INSERTEDrn SELECT @TH003=PURTH.TH003,@TH004=PURTH.TH004,@TH005=PURTH.TH005,@TH006=PURTH.TH006,@TH007=PURTH.TH009, @TH008=PURTH.TH007,@TH009=PURTH.TH008,@TH012=PURTH.TH018,@TH013=PURTH.TH019,@TH018=PURTH.TH033,@TG042=TG014 FROM INSERTED,PURTH WHERE TG001=PURTH.TH001 AND TG002=PURTH.TH002 rnBEGINrn SET NOCOUNT ONrn BEGINrn INSERT INTO COPTG (TG001,TG002,TG004,TG010,TG011,TG016,TG017,TG023,TG036,TG037,TG042) rn VALUES (@TG001,@TG2,@TG004,'801','RMB','C','3','N','N','N',@TG042)rn INSERT INTO COPTH (TH001,TH002,TH003,TH004,TH005,TH006,TH007,TH008,TH009,TH012,TH013,TH018,TH020)rn VALUES (@TG001,@TG2,@TH003,@TH004,@TH005,@TH006,@TH007,@TH008,@TH009,@TH012,@TH013,@TH018,'N')rn ENDrn SET NOCOUNT OFFrnENDrnrnrn提示“不能将值NULL插入列'TH003',表COPTH;列不允许有空值。INSERT失败”。rn请问这是那段数据有问题???rnrnCOPTH.TH003是不允许为空值rn但INSERTED表内的TH003字段是有值的(INSERTED表内的TH003也不允许有空值)rn且已将INSERTED表内的TH003值赋给@TH003rn怎么会存在INSERT为空值了??rnrn请问这是那段语句有问题???
阿里 DataX 增量同步 介绍与使用
简介 https://github.com/alibaba/DataX 介绍 https://github.com/alibaba/DataX/blob/master/introduction.md https://github.com/alibaba/DataX/blob/master/README.md 快速开始 https://github.com/alibaba/DataX/b...
同步登录,数据同步这样的功能如何实现
现在有一个分类信息程序A,一个dz论坛B,一个ucenterrnA与B都已经与uc整合了,rn我在A中读取uc中的用户资料,可是uc用户表中只有用户名,密码,电子邮箱之类的,其它的如帐户积分,人气值,金币数等这些资料都没有,rn这些资料在A本身的用户表中,和B本身的用户表中都存在,但是不一致,我现在不知道如何处理好,我想实现的功能是这样的:rnrn就是不管在哪一个应用中登录,在其它应用中也显示登录状态,退出也如此rnrn还有就是同步用户的数据,比如在A应用中修改了用户的资料,那么在其它的应用中显示的用户资料也进行了修改rnrn这样的话是不是必须得使用同一个用户数据表呢?我发现只是整合uc并不能实现这种功能啊
datax异步离线数据库同步工具
1.下载datax压缩包http://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar.gz 2.确认window中安装了python,推荐python2.7或2.6,3以上的语言不兼容。 3.在C:\Users\Mac\Desktop\datax\datax\job\job.json中配置读写的数据源,可以用多哥json,切换多个...
datax的数据缺失的一次处理
应用场景:hive to gp 的数据抽取,在实践中发现存在大量的数据缺失,hive数据完整,而往gp抽数后gp数据存在数据缺失的问题。在datax官方github上有人讨论是hive 的orc数据格式的问题。这感觉很坑啊!后面试了很多种数据存储格式依然也存在这样的问题。后面带我的导师,通过经验和尝试的思路发现是hdfs文件存在过大也会产生这样的问题。规避方案是重新均衡hdfs 文件大小,这种规避...
数据同步-数据库与数据库之间的同步
www.syncnavigator.cn SyncNavigator 数据酷同步工具 做数据同步时所支持的数据库类型: 支持sqlserver 2000-2014所有版本,全兼容,和MYsql 4.x 、MYsql 5.x 、MYsql 6.x版本。 来源数据库和目标数据库可以版本不同,比如:来源数据库是sqlserver 2012  目标数据库是mysql 5.5 ,都是可以的, Sync...
logstash同步mysql数据,多表同步配制
input {     stdin {     }     jdbc {       # mysql jdbc connection string to our backup databse       jdbc_connection_string => "jdbc:mysql://192.168.42.147:3306/test"       # the user we wish t
oracle如何查询多表数据
现有三张表,表一,表二,表三,表二和表三无关联,根据条件 表一.id=表二.idrn表一.id=表三.id 如何用一条查询语句表二,表三的所有数据,且不能查出来的两张表的数据rn一 一对应合成一条数据。rn
离线数据同步神器:DataX,支持几乎所有异构数据源的离线同步到MaxCompute
摘要: 概述 DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台,实现包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、DRDS 等各种异构数据源之间高效的数据同步功能。 概述DataX 是阿里巴巴集团内...
离线数据同步神器:DataX,支持几乎所有异构数据源的离线同步到MaxCompute
概述 DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台,实现包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、DRDS 等各种异构数据源之间高效的数据同步功能。 DataX本身作为数据同步框架,将不同数据源的同步抽象为从源头数据源读取数据的Reader插件,...
Linux下传入不同的参数,调用DATAX执行数据同步
#!/bin/bash #!/usr/bin/env python source /etc/profile if [ $# -eq 3 ] ;then         echo "输入参数为3"         echo "开始日期:$1"         echo "结束日期:$2"         echo "同步参数:$3"         echo "开始执行数据同步"      ...
基于DataX的数据同步任务调度工具(类似阿里云”数加“产品)
基于DataX的数据同步任务调度工具,支持自定义定时任务,支持crontab表达式,支持自定义添加DataX数据同步任务。 附上项目github地址,以便安装使用:https://github.com/luoce/bt-ware-datasync-datax
如何实现同步数据
现在有张视图v_xh 里面的 XH 字段 跟t_ss表的XH字段是唯一的,rn现在要求写个存储过程,要把t_ss 表里面的XH 跟V_XH 的学号一样的话 就插入另外一张表T_DDrn insert into t_dd values(wid,‘’,‘’,取t_ss里面的XH,取t_ss里面的SSBH,‘’,‘’,‘2010-07-01’,‘3’,‘张三’,‘2010-07-01’,'固定')rn然后删除T_SS里面的XH相同的数据,在线等急!rn然后再建个JOB 每天去调用这个存储过程执行一次。rn
如何实现数据的同步?
对于sqlserver数据库,有两个数据库分别在不同的网段内,如一个为20.20.20.20另一个为23.23rn.23.23那末如何实现23.23.23.23数据库中的数据和20.20.20.20中的数据保持同步呢,具体的做法请详细告知,急急
如何使数据的同步?
在一个HTML页面中有一个注册表单,有一个身份证字段需要验证是否唯一。rn只有身份证唯一的验证通过后才可以提交表单。rn现在我通过JavaScript来验证表单字段的非空和身份证的唯一性,rn这些验证通过后,在JavaScript中提交表单到Servlet中。rn身份证唯一和表单的提交都是发送请求到Servlet中。rn是用最简单的JDBC连接数据库的。rn下面的两个方法中使用的连接也不同!因为查询方法还在别的地方用.rnrn在Servlet中:rnprotected void addApplyUser(HttpServletRequest request,HttpServletResponse response) throws ServletException, IOExceptionrn是用来提交表单用的。里面只有验证非空,然后插入到数据库中。rnrnprotected void isUserExisted(HttpServletRequest request,HttpServletResponse response) throws ServletException, IOExceptionrn这个是用来验证身份证是否存在的。查询rnrn现在我所有的数据都到了服务端的Servlet中。rnrn现在的问题是,在Servlet里面,我要如何才能保证插入到数据库中的数据是同步的呢?因为多线程可以有多个人同时访问。rnrn我想就是在插入数据的方法再次调用验证身份证是否存在的方法。在调用插入方法时其它线程不能调用查询方法。rn要怎么实现呢?rn
分布式数据库数据如何同步
可以使用的条件Mysql(多台)+Memcached +Redis rn设想结果rn1)首先查询Memcached,如果有,直接返回,没有数据进行下一步rn2)查询Redis,如果有结果,直接返回,没有数据进行下一步rn3)插叙Mysql,返回数据rnrn数据同步:rnMysql之间是Master-Slavern在Mysql、Memcached、Redis间怎么能同步呢,如果数据有变动,必须用程序同时修改这3处的数据吗,有更好的方法么?
如何同步数据?
假设 Web server 有一堆数据..rnrnPocket pc连接web server 下载 其中一部分数据到 SQL Server Compactrnrn问题就出现…当Web server 数据被修改了.. SQL Server Compact..就未能更新.rnrn要做到同步是否每次下载前都要移除SQL Server Compact 所有数据??rnrn可以给我意见吗?rn
Logstash 安装 mongoDB 插件,从MongoDB同步数据到Elasticsearch,修复第一条数据同步失败的问题,以及多表同步
需翻墙 ./logstash-plugin install logstash-input-mongodb实际步骤:1.安装rvm(ruby version manager)curl -L get.rvm.io | bash -s stablesource /home/knicks/.rvm/scripts/rvm测试是否安装成功:rvm -v获取rvm列表:rvm list known2.安装ru...
数据同步技术数据库同步,SQL2000同步,2000,同步,备份
数据库同步技术,数据库同步,SQL2000同步,2000,同步,备份
docker运行datax实现数据同步方案 -- docker build 篇
上一篇纪录了datax及其docker commit测试方法,这里我推荐使用自动构建docker build构建一个带jdk+maven+python的docker镜像。 docker build基础理论就是先获得一个基础镜像,然后对镜像做的每一步骤操作都封装,一步一步的得到一个多重操作封装过的功能镜像。其中在封装的过程中有几个指定的命令参数,具体可以自行百度,这里分享下用docker buil...
相关热词 c# stream 复制 android c# c#监测窗口句柄 c# md5 引用 c# 判断tabtip 自己写个浏览器程序c# c# 字符串变成整数数组 c#语言编程写出一个方法 c# 转盘抽奖 c#选中treeview