大家好，本人初次接触大批量数据操作，因为当前项目要在另一个服务器中做数据同步，今天在本地测试，66万数据最快360秒左右。
测试方式：JDBC查询（数据库A），hibernate保存（数据库B）。
在数据入库时我设置的是1200条flush一次，其实还设置过其他，分别是500、1000、5000、10000，但是只有1000左右时间是最短，我想请问是否更好的方法，求大神帮助，谢谢！
java如何做百万级数据同步
- 写回答
- 好问题 0 提建议
- 追加酬金
- 关注问题
分享- 邀请回答
-
4条回答 默认 最新
- 2022-03-16 20:06回答 4 已采纳 可以考虑分成多线程进行处理，比如线程1处理序号1、4、7……线程2处理序号2、5、8……线程3处理序号3、6、9……
- 2019-08-30 11:02回答 8 已采纳 三种方案： 1.数据库触发器 在A电脑C表中建立触发器，然后将C表的增删改记录下来，放到一个中间表中，中间表中记录动的是哪个表，什么时间，id之类的数据， 然后写个跑批服务，定时去拉取中间表数据
- 2022-01-09 21:51回答 3 已采纳 非静态的变量，没有所谓的子类的数据，父类的数据，希望你好好理解，如： A extends BA 中有 protect 属性 a A p1 = new A();A p2 = new B(); 没有所谓
- 2023-05-17 23:06通过实例给出利用Java多线程优化读取数据库百万级别数据
- 2023-02-22 18:17回答 2 已采纳 该回答引用GPTᴼᴾᴱᴺᴬᴵ对于全量同步的情况，建议可以使用 MySQL 的数据导出和导入功能。具体步骤如下：1.在源数据库中使用 SELECT 语句查询需要同步的数据，并将查询结果导出为 CSV 文
- 2021-03-03 10:34回答 2 已采纳 我这边有两种解决方案： 1.在表中添加触发器，每次增、删、改 语句都统一写入 tb_log表中，把每个五分钟扫描tb_log表来执行数据 2.阿里巴巴有一个canal组件是做数据同步 github
- 2021-12-19 11:35回答 2 已采纳 查了一些资料,Datax源码的确有点问题,需要修改Datax的源码。参考: datax mysql null不能转为Long 等一些列无法强转问题_大壮的博客-CSDN博
- 2015-03-16 21:54内部java实现多个数据库，保持数据同步案例。
- 2022-05-17 09:21回答 8 已采纳 以树形结构进行处理，树形结构设计，根节点为部门，最左侧的叶子节点为根节点部门下的人员，其他叶子节点为根节点部门下的子部门。 如果不存在隶属关系，可以虚构一个隶属关系。采用先序遍历，根左右形式同时遍历两
- 2022-10-24 17:22回答 2 已采纳 分几次去重吧，一次太大数据量，内存不够可能就会报错了
- 2020-03-20 21:45回答 2 已采纳 ``` = 3) { for($i=0;$i_debug) { echo '$bin = ',decbin($bin),"\n";
- 2023-04-09 21:54楠风_lx的博客 Java实现百万级数据量向mysql插入
- 2021-02-20 13:42回答 3 已采纳 自己用java就能写一个呀，也不难啊，而且可以用定时任务持续使用
- 2021-04-20 11:24小胡子怪的博客 poi百万级大数据量导出 实现方式一 一，分析 excel导出如果数据量过大，会出现两个内存溢出的问题 查绚数据量过大，导致内存溢出（可通过分批查绚解决） 下载的时候大EXCEL转换的输出流内存溢出；（该方式可以通过...
- 2022-08-23 17:18勉之~的博客 java数据库大量数据同步保存处理方法 一 场景 当有大量数据需要保存到数据库时，此时若是一条一条的保存，将会多次进行I/O交互，而且大量数据还会让数据库崩溃，这个时候就需要进行优化处理。 二 实现 一 实现思路...
- 没有解决我的问题, 去提问
悬赏问题
- ¥15 c程序不知道为什么得不到结果
- ¥40 复杂的限制性的商函数处理
- ¥15 程序不包含适用于入口点的静态Main方法
- ¥15 素材场景中光线烘焙后灯光失效
- ¥15 请教一下各位，为什么我这个没有实现模拟点击
- ¥15 执行 virtuoso 命令后，界面没有，cadence 启动不起来
- ¥50 comfyui下连接animatediff节点生成视频质量非常差的原因
- ¥20 有关区间dp的问题求解
- ¥15 多电路系统共用电源的串扰问题
- ¥15 slam rangenet++配置