数据同步之部、省、市逐级向上同步数据问题

Question

[b]如题 市级向省级同步数据，省级向部级同步数据，
第二次同步时只同步修改或者新增的数据，求解决方案？
数据库结构统一，数据库均为Oracle11G r2.
[/b][size=large][/size]

Answer 1

LZ这种场景，属于分布式环境下的数据集成问题。据我理解，LZ现在主要面临的问题有：
[b]1、捕获增量数据；
2、上报增量数据；[/b]

[b]捕获增量数据：[/b]
增量数据一般分为三种，insert，update，delete，LZ的场景中，只捕获insert和update的数据，这种场景下，一般采用“时间戳增量抽取方案”：在业务表里建立一个时间戳字段，一般为时间类型，数据状态发生变化时，更新时间戳。抽取数据时，生成一个WHERE条件， WHERE 开始时间 <= 时间戳 < 结束时间。基本原理就是这样，如果LZ感兴趣，可以再细聊。

[b]上报增量数据[/b]
获取到增量数据，不知道LZ的业务场景中网络的条件如何？
如果使用企业内部专网的话，可以使用GoldenGate，上面的朋友已经说过了；
如果使用互联网，不推荐使用GoldenGate，因为互联网固有的不稳定性，建议现将增量数据抽取成文件，一般是XML，压缩后，通过HTTP传输协议上传到上级，上级再将文件加载到数据库中。传输过程中，一定要考虑断点续传的问题。

以上，我想到的就是这些。供参考，谢谢！