大家都用的是什么异构同步工具？

Question

公司在做新旧系统的数据同步，表结构都不一致，旧库是mysql，新库是达梦，有没有比较成熟的方案或者开源工具？实现较为复杂的表关系对应。比如之前是关系表现在换成了一对多的表结构。

Answer 1

以下回复参考：皆我百晓生、券券喵儿等免费微信小程序作答:

针对数据库异构同步的问题，有很多工具可以帮助您实现数据迁移和同步，特别是在MySQL到其他数据库（如达梦数据库）的转换过程中。以下是一些常用的工具和方案：

1. Kafka+自定义逻辑：

   • 使用Kafka作为消息队列中间件，从MySQL中捕获数据变更（如使用Debezium插件监控MySQL的binlog）。
   • 在达梦数据库端编写或部署消费Kafka数据的程序，处理数据转换逻辑并实现数据的插入或更新。这种方法适用于复杂的表关系对应转换，但需要编写大量的转换逻辑。

2. 开源工具：DataX

   • DataX是阿里巴巴开源的一个数据同步工具，支持多种数据源之间的数据同步。尽管它可能不直接支持MySQL到达梦的同步，但通过适当的配置和插件开发，可以实现数据的异构同步。

3. 商业工具：如阿里云的数据传输服务DTS、DataGuard等

   • 这些工具提供了图形化界面，可以方便地配置源数据库和目标数据库之间的数据同步关系。对于复杂的表结构变化，这些工具通常也提供了映射配置功能，可以实现较高级的数据转换。不过这种方式可能需要购买服务，需要考虑成本问题。

4. 手动编写脚本或使用ETL工具：

   • 对于特定的数据迁移需求，可以手动编写脚本或使用ETL工具（如Talend、Apache NiFi等）来实现数据的抽取、转换和加载。这种方式对于一对一的表结构转换或简单的表关系对应较为适用，但对于复杂的表结构变化可能需要大量的定制开发工作。

5. 使用数据库中间件或代理工具：

   • 一些数据库中间件或代理工具（如Canal、Maxwell等）可以实时监控数据库的变更，并将这些变更转换为其他格式（如JSON）的数据，然后您可以根据这些数据进行相应的转换并写入到达梦数据库。这种方式也需要一定的开发工作量来实现复杂的转换逻辑。

对于您提到的从关系表到一对多表结构的转换，这涉及到数据结构的重构，可能需要详细的映射关系和转换逻辑。在实现时，除了上述工具外，还需要详细的规划、设计和开发工作来确保数据的准确性和完整性。

最后，无论选择哪种方案，都建议在正式环境之前进行充分的测试，确保数据的准确性和同步的可靠性。