u010909533
超人与西瓜
采纳率21.9%
2017-01-19 10:06 阅读 1.5k

rmi+quartz实现定时大批量同步数据出现数据遗漏

20

要求:将本地数据数据库的部分数据同步到另一个数据库

目前做法:用rmi实现远程调用,配合quartz定时有选择的抓取本地(更新/新增)的数据,
然后同步到异地数据库上

出现问题:有延时性,不能及时同步;近期出现抓取的数据中有部分数据出现遗漏,导致异地库的信息有偏差,----〉修改了本地的部分时间后(因为同步时根据这个时间确定要同步的目标数据),全部数据都同步过去没有出现遗漏

目前判断:代码逻辑应该是没有问题的

跪求大神来解救,因为是小白,是沿用之前老大写的方案去调用的,也不知道能不能在此基础上稍微扭转方向改用其他技术,因为这个同步功能已经应用在很多方面了

  • 点赞
  • 写回答
  • 关注问题
  • 收藏
  • 复制链接分享

2条回答 默认 最新

  • JE_GE JE_GE 2017-01-20 12:16

    没有测试代码验证,这个很难回答的

    点赞 评论 复制链接分享
  • u011171506 dfhao_ 2021-03-12 14:38

    大数据量同步的时候,如果使用分页进行查询就可能出现数据遗漏。

    比如有100万条数据,分页查询到50万条的时候,之前同步的第一页的数据被修改了,这时候50万到100条数据的排序往前移动一位,后面不管怎么同步都会遗漏数据

    点赞 评论 复制链接分享

相关推荐