多线程并发处理导致的数据重复问题

Question

问题描述：3个线程同时执行相同的一个mysql事务：先查询第三方数据，在事务中查询本地数据库是否存在数据，有就更新，没有就新增
结果：本地数据库中的数据出现一次重复，之后定时执行的时候也没有更多的数据重新
初步分析：是有一个线程查询本地数据库的时候没有查询到数据，判断为数据库中不存在数据，将已经存在的数据又新增了一遍，导致的数据重复

//查询已存在的数据进行对比更新
        List<TblThirdPartyDepart> departs = tblThirdPartyDepartService.list(Wrappers.lambdaQuery(TblThirdPartyDepart.class).eq(TblThirdPartyDepart::getEquipmentId, equipmentInfo.getId()));
        Map<String, TblThirdPartyDepart> departMap = departs.stream().collect(Collectors.toMap(TblThirdPartyDepart::getResCode, Function.identity()));
        //查询vm平台组织  更新组织数据
        for (TblThirdPartyDepart thirdPartyDepart : orgList) {
            if (departMap.containsKey(thirdPartyDepart.getResCode())) {
                TblThirdPartyDepart depart = departMap.get(thirdPartyDepart.getResCode());
                thirdPartyDepart.setId(depart.getId());
                tblThirdPartyDepartService.updateById(thirdPartyDepart);
                departMap.remove(thirdPartyDepart.getResCode());
            } else {
                tblThirdPartyDepartService.save(thirdPartyDepart);
            }
        }
        //同步删除组织
        if (CollectionUtil.isNotEmpty(departMap.values())) {
            List<Long> longList = departMap.values().stream().map(TblThirdPartyDepart::getId).collect(Collectors.toList());
            tblThirdPartyDepartService.removeByIds(longList);
        }

Answer 1

引用 皆我百晓生 小程序回应内容作答：
造成数据重复的原因可能是多线程并发执行导致的竞争条件。在您的代码中，多个线程同时执行相同的事务，会同时查询本地数据库并进行更新或新增操作。如果在某个线程查询数据库时，还未来得及执行更新或新增操作，其他线程已经先执行了相同的操作，就会导致数据重复。

为了解决这个问题，您可以考虑使用数据库的事务隔离级别或加锁机制来保证数据一致性和避免并发冲突。

1. 事务隔离级别：
   设置合适的事务隔离级别，可以避免多线程并发操作引起的数据重复问题。您可以将事务隔离级别设置为 "READ COMMITTED"，可以在连接数据库时设置，或者在代码中通过事务管理器设置。

2. 加锁机制：
   在需要查询和操作本地数据库的代码段中，使用锁机制可以保证同一时间只有一个线程能够执行查询和修改操作。您可以使用 Java 中的锁（如 ReentrantLock）或使用数据库提供的锁机制（如 MySQL 的行级锁）。

以下是给出的代码示例中使用锁机制的一个简单示例：

// 创建一个全局锁对象
private static final Object lock = new Object();

// 在查询和更新代码块中使用锁
synchronized (lock) {
    // 查询已存在的数据
    List<TblThirdPartyDepart> departs = tblThirdPartyDepartService.list(Wrappers.lambdaQuery(TblThirdPartyDepart.class).eq(TblThirdPartyDepart::getEquipmentId, equipmentInfo.getId()));
    Map<String, TblThirdPartyDepart> departMap = departs.stream().collect(Collectors.toMap(TblThirdPartyDepart::getResCode, Function.identity()));

    // 其他操作代码...
}

请根据您的具体需求和环境选择适合的处理方式来解决多线程并发处理导致的数据重复问题。