查出源数据库里新增数据办法都有哪些？有哪些开源工具可用或者代码咋写？

Question

业务数据可以用时间字段，别的数据有的需要用到差集来，或者有啥开源工具可以方便查出增加或变换的数据

Answer 1

这个要看你具体的业务系统逻辑,尤其是在oracle数据库上。
首先增加序列或者增加时间戳的方式,的确是可行,但是假设存在rac或者存在多事务同时写入,光用序列或者时间戳来取数据是有可能导致数据缺失的。
最稳妥的方法,一般是基于日志来进行同步,比如ogg,插了几条或者更新了几条,都会有日志,然后解析日志在目标端进行相同的执行。
如果不依赖外部工具,那么你需要自己创建一个真正唯一递增的序列,比如下面这种方式

1. 源表里面有个空字段,所有来自应用的数据都不写入这个字段
2. 然后创建一个序列,注意加上order,避免rac缓存出现新序列值比之前更小的情况
3. 创建一个作业,定时将空字段的值更新成这个序列的值,注意,这个作业永远都只能有一个发起方,不能存在并发
4. 同步数据到目标端的时候,只取这个字段不为空的数据,同步完后保存好这个序列值,下次取数据只取大于这个序列值的

另外,如果数据是可能发生变更的,那么常见的做法是在源表上加个触发器,生成日志表的数据,然后使用日志表关联源表来替代源表的数据源,当然上面提到的序列就不需要在源表增加了,放在日志表中即可