大家好，本人初次接触大批量数据操作，因为当前项目要在另一个服务器中做数据同步，今天在本地测试，66万数据最快360秒左右。
测试方式：JDBC查询（数据库A），hibernate保存（数据库B）。
在数据入库时我设置的是1200条flush一次，其实还设置过其他，分别是500、1000、5000、10000，但是只有1000左右时间是最短，我想请问是否更好的方法，求大神帮助，谢谢！
java如何做百万级数据同步
- 写回答
- 好问题 0 提建议
- 关注问题
分享- 邀请回答
-
4条回答 默认 最新
- 2015-03-16 21:54本文将深入探讨如何使用Java来实现多个数据库之间的数据同步。 首先，我们需要理解数据同步的含义。数据同步是指在两个或多个数据库之间，当某个数据库中的数据发生改变时，这些变化能够被实时或者近实时地反映到...
- 2024-08-06 07:30微赚淘客系统开发者的博客 本文详细介绍了如何使用Java编程语言实现数据同步的方案和技术。通过示例代码展示了连接数据库、查询数据和将数据同步到目标数据库的步骤。希望本文能够帮助开发者更好地理解和应用数据同步的相关知识。著作权归聚娃...
- 2022-08-23 17:18勉之~的博客 java数据库大量数据同步保存处理方法 一 场景 当有大量数据需要保存到数据库时，此时若是一条一条的保存，将会多次进行I/O交互，而且大量数据还会让数据库崩溃，这个时候就需要进行优化处理。 二 实现 一 实现思路...
- 2019-06-27 18:17潇潇雨歇_的博客 有一个需求，需要同步百万级的数据。看到要求首先想到的是用存储过程+Job定时批量同步，后来发现这个任务是一表同步多表，且一表上的字段难以满足多表的需求，在对数据的细节处理上使用Java同步更方便，故考虑使用...
- 2021-03-11 16:55weixin_39521068的博客 java实现定时同步数据同步[2021-02-10 05:40:14]简介:php去除nbsp的方法：首先创建一个PHP代码示例文件；然后通过“preg_replace("/(\s|\ \;| |\xc2\xa0)/", " ", strip_tags($val));”方法去除所有nbsp...
- 2021-02-12 11:35Flanker Edward的博客 1. 应用背景程序在设计当中如果采取多线程操作的时候，如果操作的对象是一个的话，由于多个线程共享同一块内存空间，因此经常会遇到数据安全访问的问题，下面看一个经典的问题，银行取钱的问题：1)、你有一张银行卡...
- 2021-06-19 13:17m0_57064830的博客 例如，笔者做过一个违禁词系统，对用户输入的评论内容进行违禁词汇检测。这个违禁词系统，部署了在N台服务器上，为了提升检测性能，每台机器都会将违禁词库全量加载到内存中，词库的更新，是通过发送MQ消息来完成的...
- 2021-12-10 18:52栖砚之白l的博客 部署后因为矩阵计算时间过长有时候会导致后面的数据获取不到报错，最后是加了synchronized代码块进行同步，顺便整理了下其他方法，因为现在下班了就写到这，持续更新中，希望有其他方法也可以让我学习学习。...
- 2023-07-04 09:04CodingFire的博客 关于ES，博主前面也讲过一些基础应用，创建一个工具类利用ES的数据模型进行存储就可以达到一个canal同时对Redis和ES的同步，如果担心出问题，可以把Canal搞成集群的形式，这个后续有时间博主再给大家做讲解。...
- 2021-03-08 02:49小知课代表的博客 前言定时任务在系统中并不少见，主要目的是用于需要定时处理数据或者执行某个操作的情况下，如定时关闭订单，或者定时备份。而常见的定时任务分为2种，第一种：固定时间执行，如：每分钟执行一次，每天执行一次。第...
- 没有解决我的问题, 去提问
