sql server 数据同步

Question

最近有个需求需要对一个比较大的业务表做数据同步（一亿左右数据，每天都在涨），有没有高效的方法处理，（复制和日志传送都比较耗资源，merge又很慢），求助啊

Answer 1

大表一般要采用分区，同步的话大表是不建议每次全量同步的，不是是否可以找到增量字段，如有update time或者自增的id，以updatetime为例：
方法步骤如下
1.第一次全量抽取这张表，并设置日志表记录抽取表updatetime的 start time为19000-01-01，end time为getdate（）；这次耗时比慢；
2.第二次采用增量抽取，取日志表内的end time为这次抽取的starttime，这次的end time为getdate（），每天如此反复；
3.增量数据先不要直接进到目标表表，先把增量数据放进一个中间过渡表，然后在采用merge的写法；
--以上适合一般大小的表；
4。对于你说到的大表，是要做分区的，分区的话有个switch partition的方法来处理分区，可以高并发的处理分区数据，这个可以很快，你可以试试。