mysql 多源复制 ,多库多表合到一个库

mysql 多源复制 ,多库多表合到一个库,库名无法重新修改,配置文件如下:
【slave】

[mysqld]
user=mysql
character-set-server=utf8mb4
default_authentication_plugin=mysql_native_password

server_id=1006

replicate-ignore-db = mysql
replicate-ignore-db = information_schema
replicate-ignore-db = performance_schema
replicate-ignore-db = sys

#read_only=1

replicate-do-db=mass

replicate-rewrite-db=zdbtest->mass

relay-log =mysqld-relay-bin
log-slave-updates = ON

slave-parallel-type=LOGICAL_CLOCK

relay_log_recovery=ON

slave_net_timeout = 30
slave_parallel_workers = 16

#slave-skip-errors = all
#slave-skip-errors = 1062,1053,1146,1213,1264,1205,1396


sql_mode=NO_ENGINE_SUBSTITUTION,STRICT_TRANS_TABLES


master_info_repository=TABLE
relay_log_info_repository=TABLE

gtid-mode=on
enforce-gtid-consistency=true

plugin-load=rpl_semi_sync_slave=semisync_slave.so
rpl_semi_sync_slave_enabled=1

[client]
default-character-set=utf8mb4
[mysql]
default-character-set=utf8mb4

[master]

[mysqld]
user=mysql
character-set-server=utf8mb4
default_authentication_plugin=mysql_native_password

server-id=1003

log-bin=mysql-bin

binlog-format=MIXED

binlog-ignore-db=mysql
binlog-ignore-db=information_schema
binlog-ignore-db=performance_schema
binlog-ignore-db=sys

sync_binlog=1
auto_increment_increment=2
auto_increment_offset=1
sql_mode=NO_ENGINE_SUBSTITUTION,STRICT_TRANS_TABLES

gtid-mode=on
enforce-gtid-consistency=true

master_info_repository=TABLE
relay_log_info_repository=TABLE

plugin-load=rpl_semi_sync_master=semisync_master.so
rpl_semi_sync_master_enabled=1


##
[client]
default-character-set=utf8mb4
[mysql]
default-character-set=utf8mb4

帮忙看看有什么问题没有???

0
Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!
其他相关推荐
MySQL 5.7多源复制功能的应用
MySQL 5.7有一个新特性,即支持多源复制,这个功能在有些场景下还是很有用的。 首先什么是多源复制呢?摘录开源中国社区中的一段说明: “MySQL在这个新版本中修复了一个复制限制 , 这限制是一个从站只能有一个主站. 这是一个在我们设计复制环境中的限制因素,也有一些极客使它正常工作了。但是现在有一个官方的解决办法了。所以。简单的说, Multi-Source 意味着一个从站能有一个以上主站
mysql5.7 多源复制
背景: MySQL5.7在主从复制上面相对之前版本多了一些新特性,包括多源复制、基于组提交的并行复制、在线修改Replication Filter、GTID增强、半同步复制增强等。因为都是和复制相关,所以本文将针对这些新特性放一起进行说明,篇幅可能稍长,本文使用的MySQL版本是5.7.13。 1,多源复制(多主一从) MySQL在5.7之后才支持多源复制,之前介绍过MariaD
otter学习(六)—— 实践四:多源多表同步单源单表
通过实践一、二、三之后,我们已经能初步的运用otter来实现某个仓库的数据同步需求,那么多个仓库都要往一张表里同步怎么办呢? otter的pipeline配置,是一个pipeline仅仅只能连接一个源,如果需要多源的情况下,仅仅只需要把之前的配置再配置一遍,然后转义代码里重设warehouse_id的值用于区分数据的来源即可 一、配新的数据源、需要同步的数据表、新的canal       二...
MySQL 5.7 多主一从(多源复制)同步配置
下载网站:www.SyncNavigator.CN   客服QQ1793040 ----------------------------------------------------------     关于HKROnline SyncNavigator 注册机价格的问题 HKROnline SyncNavigator 8.4.1 企业版数据同步软件 自2009年第一个版本开发...
mysql 5.7的多源复制搭建
一.基本环境 主库1: 192.168.65.30  3306 mysql 5.7.14 主库2: 192.168.65.30  3307 mysql 5.7.14 从库:192.168.65.33  3306 mysql 5.7.14 基于gtid复制 二.搭建注意事项 1.每个实例上DB名字不能一样。 2.创建或是复制用户时名字不能一样,如果经常遇到一样的帐号若是为了规范创建的帐
mysql多源复制
多源复制就是多个master复制,允许一个slave对应多个master; change master语法(参考:http://dev.mysql.com/doc/refman/5.7/en/change-master-to.html): CHANGE MASTER TO option [, option] ... [ channel_option ] option:
MySQL单台物理机上单实例多库与多实例单库性能测试
MySQL单台物理机上单实例多库与多实例单库性能测试   因游戏业务需求,经常需要创建新的数据库,有时候在已经启着数据库实例的机器上纠结,是在原来的实例中直接加个库呢,还是在另起一个实例,哪个性能更好呢?所以就有了本次的测试。 物理机6台,配置如下 CPU:Intel(R) Xeon(R) CPU E5-2630 v3 @ 2.40GHz MEM:256G DISK:SSD 2台My
Replication基础(五) 多源复制
简介 多源复制是指一个从实例指向多个主实例,相当于把多个MySQL实例的数据汇聚到一个实例上面,这是MySQL 5.7版本开始支持的新的复制功能。 搭建步骤 MySQL5.7版本中增加了多源复制的功能,其中每一个复制关系,叫做一个复制通道,channel,这点从执行change master命令的时候可以看出来,如下: mysql> change master to ...
mysql多库表关联问题症结
0、题记项目中使用mysql作为数据存储,需要定期将库表中的数据按照给定格式生成报表。根据导出周期的不同分为:日报、周报、月报、季报、年报等格式。 导出的整个逻辑我来负责编写,前期的日报、周报导出都没有问题。 但是,四月初统计上个月的月报的时候,发现到处全部的数据需要花费超过12个小时的时间。 10几分钟的到处已然让人无法接受了,12个小时简直要了人命! 本文基于导出时间长的问题,说下数据库
mysqldump怎样导出一个库的多个表
多个表名中间用空格隔开就行。 如导出dba库下的表t1和 t2 mysqldump -u root -p…… dba t1 t2 > /download/t1_t2.bak
Mysql 之多库备份
数据库备份专门建立一个用户用来备份; 现在备份的库有backdbone,backdbtwo 创建用户 grant all privileges on backdbone.* to 'forback'@'%' identified by '123456'; grant all privileges on backdbtwo.* to 'forback'@'%' identified by
MySQL5.7 基于GTID的多源复制
基于GTID的MySQL5.7的多源复制 主库1:192.168.1.246:3306 主库2:192.168.1.246:3307 从库1:192.168.1.246:3308安装5.7数据库 初始化5.7数据库,与之前不一样,命令如下(--defaults-file 一定为第一个参数) ./bin/mysqld --defaults-file=/data/mysql/mysql3306/m
MySQL多源复制实战
本文是滴滴云开源框架教程系列文章的一篇。 一、多源复制概述 MySQL多源复制使复制从库能够同时从多个源接收事务。多源复制可用于将多个服务器备份到单个服务器,合并表分片,以及将来自多个服务器的数据合并到单个服务器。 二、多源复制的配置 多源复制拓扑中的主设备可以配置为使用基于全局事务标识符(GTID)的复制或二进制日志基于位置的复制。多源复制拓扑中的从库需要基于TABLE存储,多源复制与基于FIL...
springboot(五、多源数据库【静态】)
有时候项目需要访问多个数据库,就需要搭建多源数据库,这里先搭建静态的,就是一个数据库,一个dao层,一个DataSource 一个sqlsessionfactory 1、主要的架构呈现下面这样,一个数据库一个dao层,同时一个mapper   另外 我单独写出 com.example.exam1包下面的东西 2、application.properties 3、DataSou
mycat同机多库分表
一个逻辑表分到一台主机的多个数据库中。建表在一台主机上见3个数据库,在三个数据库中分别建立TongPerson表USE `tongjifenku1`;/*Table structure for table `TongPerson` */DROP TABLE IF EXISTS `TongPerson`;CREATE TABLE `TongPerson` ( `Id` int(11) NOT NU
mysql主从复制GTID binglog 多源复制 多线程复制
MySQL主从复制是异步的 所以会有延迟  可以通过程序逻辑造成错觉同步  比如 某人发布一片文章 此人可以直接主库 而游客不知道发布了没 读的是从库 MySQL5.7以后增加很好主从复制相关的试图      use performance_schema 可以查看 MySQL主从复制 一,基于binlog日志     对于主库master               
sphinx 多个表查询
<!-- 正文 --> sql_query = SELECT `id`, 2 AS table_id, `username`, `password`, `email`, `salt`, `from` FROM table_2 ["matches"]=> array(16) { [0]=> array(3) { ["id"]=> string(2...
GoldenGate 多表按条件的数据复制
一、概述: goldgate的实施:把明细库的多个表的数据同步到ZY,部分表同步全部记录,部分表同步部分记录(按SHIJIID(市级ID)过滤)。 总体思路: 1、省局明细库到10个地市州的数据分发是10个1:1的数据复制,即源(省局)数据库上有10个Extract(抽取进程)与10个Pump(投递进程),10个目标(地市州)上各有一个Replicat(复制进程)。 2、在源的Extract抽取
mysql数据库多表备份及excel表格导出脚本编写
#!/bin/sh # Database info DB_USER="root" DB_PASS="min" DB_HOST="localhost" DB_NAME="product" # 数据库表 TABLE1="attribute_name" TABLE2="attribute_value" DB_TABLE=$TABLE1 $TABLE2 # Others vars BIN_DI
MYCAT单表多库水平切片
基于MYCAT1.6单表多库水平切片,数据均分至3个数据库: 1. 配置schema.xml <?xml version="1.0"?> <!DOCTYPE mycat:schema SYSTEM "schema.dtd"> <mycat:schema xmlns:mycat="http://io.mycat/"> <schema na
多源复制
多个主复制到一个从
mysql 分库分表中间件 (待补充)
sharding-jdbc 在介绍多库多表的时候,给大家介绍一个轻量级 分库分表 工具,sharding-jdbc,这是当当网自己实现的基本JDBC的数据库多库多表解决方案。可以让你在写业务代码的时候完全按照单库单表进行,多库多表的问题有sharding-jdbc帮你解决,需要自己实现分库分表规则接口,配置分库分表规则。 实现分库规则接口: public class DemoDatabaseSha...
Mysql-GTID复制跳过错误的方法
gtid复制出现错误是个比较麻烦的问题,需要人工处理,如果直接跳过可能导致数据丢失或者数据不一致的情况,所以建议人工处理。下面我来介绍Mysql gtid复制出现错误的情况,按照下来方式处理前必需找出错误的sql和错误的数据,处理完成前将数据修改成为一致数据。 1、数据库版本 mysql >select version() +-----------------------------...
logstash同步mysql数据,多表同步配制
input {     stdin {     }     jdbc {       # mysql jdbc connection string to our backup databse       jdbc_connection_string => "jdbc:mysql://192.168.42.147:3306/test"       # the user we wish t
有关数据库的多库查询
<br />Access数据库的多库查询时用如下语句:<br />select   *   from   [;database=d:/a.mdb].cf_bumen a,[;database=d:/b.mdb].cf_bumen b<br />sqlserver数据库的多库查询用如下语句:<br />opendatasource
GTID复制异常的解决步骤
GTID复制异常的解决方法,主从复制使用的是GTID方式。   下面这个环境,出问题的原因不提了。   下面是从库的截图: Retrieved_Gtid_Set:167b4197-09fa-11e7-993f-000c296a2c0d:1-6 Executed_Gtid_Set:167b4197-09fa-11e7-993f-000c296a2c0d:1-5, 261aa
mysql主从复制(一):一主多从
一  应用背景      MySQL数据库自身提供的主从复制功能可以方便的实现数据的多处自动备份,实现数据库的拓展。多个数据备份不仅可以加强数据的安全性,通过实现读写分离还能进一步提升数据库的负载性能。下图就描述了一个多个数据库间主从复制与读写分离的模型。web服务器(tomcat,apache,iis,weblogic等)从多个slave数据库进行读操作,从master数据库进行写操作,如图:在...
Java实现简单的数据迁移,从单库单表到单库单表(2)
这个文章是对我上一篇文章Java实现简单的数据迁移,从单库单表到单库单表的简单扩展因为我上一篇文章那种方法只能把数据进行简单的迁移,但是这里我需要对数据库的内容进行重新的编排,所以很显然,我上一篇文章的写法是没法完成我的需求的。 重申一下需求: 从一张数据表:物品分类数据资源表和一张关系表:物品分类关系表将这两张表的内容整理到一张表中:整理好的表,目的是为了把前两张表里面的第一层的物品第二层的物品...
mycat异机多库分表
再147,148,149三台主机上分别见数据库duokufenbiao,同事在这个数据库下建表YiPersonCREATE DATABASE /*!32312 IF NOT EXISTS*/`duokufenbiao` /*!40100 DEFAULT CHARACTER SET utf8 */;USE `duokufenbiao`;/*Table structure for table `YiPe
MySQL--表的设计与优化(单表、多表)
文章结构:(1)单表设计与优化;(2)基于单表设计的多表设计原则(含表拆分原则);(均以实际生产开发环境下的环境为基准)文章目录:(1)单表设计与优化设计规范化表,消除数据冗余(以使用正确字段类型最明显) 前三范式所有字段类型 - 所有字段类型罗列 - 针对常用的varchar,我们来思考几个问题 - 给出几个类型选取建议适当的冗余,增加计算列:(实际开发中必须...
Spring分布式事务实现Atomikos多库
分布式事务是指操作多个数据库之间的事务,spring的org.springframework.transaction.jta.JtaTransactionManager,提供了分布式事务支持。如果使用WAS的JTA支持,把它的属性改为WebSphere对应的TransactionManager。      在tomcat下,是没有分布式事务的,不过可以借助于第三方软件jotm(Java Open
otter学习(五)—— 实践三:单源多表同步单库单表
看完了实践一与实践二、我们大致对otter有了一个简单认识。 那么,我们有个大胆的想法,能否直接用otter来充当etl工具呢?我们从数据库多个业务表中选取数据,然后同步到一张累计事实表中 说干就干: 一、需求梳理:         1.接口层接收到上游单据时,需要在目标表新建一条订单记录         2..接口层接收到订单,流入wms系统后,需要对目标表相应的记录做更新,且在生命周...
mycat 多数据库实例多数据库分库分表插入查询配置
其他配置参考mycat 单数据库实例多数据库分库分表插入查询配置schema.xml配置如下:&amp;lt;?xml version=&quot;1.0&quot;?&amp;gt; &amp;lt;!DOCTYPE mycat:schema SYSTEM &quot;schema.dtd&quot;&amp;gt; &amp;lt;mycat:schema xmlns:mycat=&quot;http://io.mycat/&quot;&amp;gt; &amp;lt;schema name=&quot
MySQL数据库——‘多表’的基本操作(更新、删除、创建写入)
1.多表更新--基本格式 UPDATE table_references SET col_name1 = {expr1|DEFAULT} [,col_name2 = {expr2|DEFAULT}]... [WHERE where_condition];--语法结构 table_reference {[INNER|CROSS] JOIN | {LEFT|RIGHT} [OUTER] JOIN} ta
lucene 多库联合查询 连库查询
MultiSearcher  每个库都会去查询,总用时等于每个库查询的时间之和ParallelMultiSearcher  可以理解为多线程搜索,会每个库都开出一条线程去查询,查询总用时等于某个线程最大用时,并且ParallelMultiSearcher  这个连库查询会筛选出重复数据
Mysql 5.7多源复制
汇聚数据:尤其是在分库分表的一些场景中,数据集中统计分析操作可以在1台从库服务器上实现。 节省成本:数据集中存放可避免服务器等软硬件资源浪费,5.7之前1主1从或者1主多从的方案需要为每个主机都安置一台备机;5.7推出多源复制之后,可以将多个从库进行合并,至于是合并存放在高端还是低端服务器上,取决于分析、统计等业务在整体业务中的优先级、繁忙程度等因素。 集中备份:方便在一台服务器备份所有已收到
windows下Mysql批量备份多个表
windows下Mysql批量备份多个表如果: 数据库太大(几十个G),不想备份成一个文件,而是每个表备份成一个文件 备份耗时太长(几个小时) 数据表太多,不想一个一个表手工导出 需要把数据备份成sql格式 可以采用如下脚本批量备份多个表:@echo off set MysqlDumpPath=D:\mysql\bin\mysqldump set dbhost=localhost set dbuse
给mysql授权多个数据库权限
GRANT SELECT ON *.* TO 'tadpole_select'@'192.168.%.%'; GRANT SELECT ON `bu`.* TO 'tadpole_select'@'192.168.%.%'; GRANT SELECT ON `kd`.* TO 'tadpole_select'@'192.168.%.%';
kettle之------ 多表数据复制
需求:把A库中N个表抽取至B库中,表结构相同或只是增加统一的一些字段, 过滤条件基本类似。 解决方法: 我们把以上内容在解决问题上拆分为二步, 1,从一配制表中读出相应的表名及过滤条件,存于一结果。 2,根据第一步的结果,一条条循环来进行取数插数的过程。 以上过程相当简单,以下为讨论的实现方式。 1,如果是ORACLE 同字符集,用DBLINK结合着存储过程,写一个通用的程序很容易
delphi 中access数据库实现多库连接查询
这里是指多个access数据库例如以日期建的库,
文章热词 机器学习教程 Objective-C培训 交互设计视频教程 颜色模型 设计制作学习
相关热词 mysql关联查询两次本表 native底部 react extjs glyph 图标 大数据的原始库和基础库 大数据开发加班多