weixin_42062762
weixin_42062762
采纳率75%
2020-07-05 17:00 阅读 159

springbatch 同步数据库的问题

5

图片说明
在使用springboot + batch同步数据库表到另一个表上面去的时候,chunk的size最多只能设置10,多了就会报主键重复,首先说明的是一开始查出来的数据主键是没有重复的,就是mysql官网的员工表。所以我把要导入数据的表的主键去掉,发现可以几百条批量导入,但是插入的几乎都是重复的,也是10条10 条的重复,batch读的原理是什么,设置10 条插入一次太慢了,求给个解决方案。
如图:

  • 点赞
  • 写回答
  • 关注问题
  • 收藏
  • 复制链接分享

3条回答 默认 最新

  • 已采纳
    wangwei19910928 我要学习啦 2020-07-06 14:44

    看你现象貌似是mybatis分页的游标有点问题吧,你可以打断点看看,是不是process和writer里都是重复的,证明你读出来的就是重复的

    点赞 评论 复制链接分享
  • qq_40693603 sinJack 2020-07-05 17:06

    你使用batch的时候,是有缓存的,每次插入后,需要清除缓存。

    点赞 1 评论 复制链接分享
  • caozhy 从今以后生命中的每一秒都属于我爱的人 2020-07-06 15:20

    id=10011这条记录重复了,是不是数据库里面已经有了。

    点赞 评论 复制链接分享

相关推荐