l_w610 2019-06-10 21:57 采纳率: 84.6%
浏览 353
已采纳

sql server 数据同步

最近有个需求需要对一个比较大的业务表做数据同步(一亿左右数据,每天都在涨),有没有高效的方法处理,(复制和日志传送都比较耗资源,merge又很慢),求助啊

  • 写回答

2条回答 默认 最新

  • ╭⌒若隐_RowYet——大数据 大数据领域优质创作者 2019-06-11 10:15
    关注

    大表一般要采用分区,同步的话大表是不建议每次全量同步的,不是是否可以找到增量字段,如有update time或者自增的id,以updatetime为例:
    方法步骤如下
    1.第一次全量抽取这张表,并设置日志表记录抽取表updatetime的 start time为19000-01-01,end time为getdate();这次耗时比慢;
    2.第二次采用增量抽取,取日志表内的end time为这次抽取的starttime,这次的end time为getdate(),每天如此反复;
    3.增量数据先不要直接进到目标表表,先把增量数据放进一个中间过渡表,然后在采用merge的写法;
    --以上适合一般大小的表;
    4。对于你说到的大表,是要做分区的,分区的话有个switch partition的方法来处理分区,可以高并发的处理分区数据,这个可以很快,你可以试试。

    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论
查看更多回答(1条)

报告相同问题?

悬赏问题

  • ¥15 WPF如何用Chart绘画出Y轴的左边数据
  • ¥15 pycharm无法查看内置代码
  • ¥15 跑hls xfopencv的例程standalone_hls_axi_example出的错误,csim没问题,c synthesis出的错误
  • ¥15 sqlserver update语句逐行生效
  • ¥15 mssql2000游标循环次数对不上
  • ¥20 Windows10系统命令行调用
  • ¥15 php环境如何实现国密SM2相关功能
  • ¥15 关于#单片机#的问题:K210 例程里面提示我iomem.h: No such file or directory
  • ¥15 LSPI算法的大问题
  • ¥15 java导出word 动态填充数据