现在有一张大几千万数据的表，需要将这个表的数据实时的同步到其他8个库中（id取模）
，表结构不同。求解
mysql跨库同步数据，实时同步
- 写回答
- 好问题 0 提建议
- 追加酬金
- 关注问题
分享- 邀请回答
-
5条回答 默认 最新
- 2022-12-14 20:40回答 6 已采纳 可以用canel或者datax试试
- 2021-09-18 10:38回答 4 已采纳 你好像描述的有些问题吧？为什么查询大数据展示？你口中的大数据指定到底是什么？如果你是学习大数据（hadoop相关），使用java语言在做数仓项目，那么你可以参考一下这张图 查询数据一般从数据库里面查
- 2021-02-20 13:42回答 3 已采纳 自己用java就能写一个呀，也不难啊，而且可以用定时任务持续使用
- 2019-11-24 21:48乔治大哥的博客 背景 MySQL由于自身简单、高效、可靠的特点，成为小米内部使用最广泛的数据库，但是当数据量达到千万/亿级别的时候，MySQL的相关操作会变的非常迟缓；...早期业务借助Sqoop将Mysql中的数据同步到...
- 2023-02-22 18:17回答 2 已采纳 该回答引用GPTᴼᴾᴱᴺᴬᴵ对于全量同步的情况，建议可以使用 MySQL 的数据导出和导入功能。具体步骤如下：1.在源数据库中使用 SELECT 语句查询需要同步的数据，并将查询结果导出为 CSV 文
- 2022-07-10 18:41回答 4 已采纳 单机转为主备，你需要先将主库做一次全备并导入到备库的，然后再开启主从同步。内存20G，数据库大于40G这个没关系，你需要保证磁盘存储空间大于数据库大小。Mysql之异步主从复制搭建：https://s
- 2022-02-25 15:14回答 3 已采纳 跟python没关系mysql跨库查询就是库名.表名问题是你用户必须有查询权限如果你每个库都有特别的用户去操作，没有互相操作的权限，那你只能建立多个连接
- 2024-02-04 10:45flinkc-sql-connector-mysql,用于mysql数据实时同步
- 2019-02-20 10:46回答 6 已采纳 没有得到解决思路，问题没有得到解决。
- 2019-08-30 11:02回答 8 已采纳 三种方案： 1.数据库触发器 在A电脑C表中建立触发器，然后将C表的增删改记录下来，放到一个中间表中，中间表中记录动的是哪个表，什么时间，id之类的数据， 然后写个跑批服务，定时去拉取中间表数据
- 2021-03-03 10:34回答 2 已采纳 我这边有两种解决方案： 1.在表中添加触发器，每次增、删、改 语句都统一写入 tb_log表中，把每个五分钟扫描tb_log表来执行数据 2.阿里巴巴有一个canal组件是做数据同步 github
- 2021-01-07 08:45{ job: { setting: { speed: { channel: 1 }, errorLimit: { record: 0, percentage: 0.02 } }, content: [ { reader: {
- 2022-10-12 21:51回答 1 已采纳 解决了，没有开启checkpoint导致，加上下面代码即可env.enableCheckpointing(1000, CheckpointingMode.EXACTLY_ONCE);env.getCh
- 2020-01-15 14:06tomalun的博客 一、同步性能测试 1、测试环境信息 kettle：版本8.2，carte独立部署，内存参数-Xms1024m -Xmx4096m mysql数据库：8核CPU，CPU主频2.20GHz，16G内存，版本号5.7.25 大数据环境采用CDH，包含HDFS、hive等组件 CDH...
- 2021-01-19 23:01使用ktl工具实现mysql向mysql同步数据 1.新建作业步骤 2.完善作业步骤，主要是完成作业中的转换工作 3.首先要确定数据来源库，也就是数据输出库，这里是mysql 4.其次要确定数据接收库，这里也是mysql数据库 5....
- 没有解决我的问题, 去提问
