l_w610 2019-06-10 21:57 采纳率: 84.6%
浏览 353
已采纳

sql server 数据同步

最近有个需求需要对一个比较大的业务表做数据同步(一亿左右数据,每天都在涨),有没有高效的方法处理,(复制和日志传送都比较耗资源,merge又很慢),求助啊

  • 写回答

2条回答 默认 最新

  • ╭⌒若隐_RowYet——大数据 大数据领域优质创作者 2019-06-11 10:15
    关注

    大表一般要采用分区,同步的话大表是不建议每次全量同步的,不是是否可以找到增量字段,如有update time或者自增的id,以updatetime为例:
    方法步骤如下
    1.第一次全量抽取这张表,并设置日志表记录抽取表updatetime的 start time为19000-01-01,end time为getdate();这次耗时比慢;
    2.第二次采用增量抽取,取日志表内的end time为这次抽取的starttime,这次的end time为getdate(),每天如此反复;
    3.增量数据先不要直接进到目标表表,先把增量数据放进一个中间过渡表,然后在采用merge的写法;
    --以上适合一般大小的表;
    4。对于你说到的大表,是要做分区的,分区的话有个switch partition的方法来处理分区,可以高并发的处理分区数据,这个可以很快,你可以试试。

    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论
查看更多回答(1条)

报告相同问题?

悬赏问题

  • ¥15 memory.limit()' is no longer supported
  • ¥15 基于stm32f4产生两路pwm信号并可由串口通信调节
  • ¥15 C++/QT设置函数调用条件(多个功能调用同一,且各自调用条件不同)
  • ¥15 UE5样条线生成的网格UV问题
  • ¥15 如何用最短的时间大致看懂springboot+vue的项目
  • ¥15 (有偿)懂数值分析和含时变参数微分方程的来
  • ¥15 abaqus随机生成二维颗粒
  • ¥15 安装ansys许可证管理器时出现了这个问题,如何解决?
  • ¥100 高价求算法,利用智能手机传感器计算车辆的三轴g值
  • ¥15 uni-app开发APP运行到浏览器访问接口跨域