最近有个需求需要对一个比较大的业务表做数据同步(一亿左右数据,每天都在涨),有没有高效的方法处理,(复制和日志传送都比较耗资源,merge又很慢),求助啊
2条回答 默认 最新
关注 大表一般要采用分区,同步的话大表是不建议每次全量同步的,不是是否可以找到增量字段,如有update time或者自增的id,以updatetime为例:
方法步骤如下
1.第一次全量抽取这张表,并设置日志表记录抽取表updatetime的 start time为19000-01-01,end time为getdate();这次耗时比慢;
2.第二次采用增量抽取,取日志表内的end time为这次抽取的starttime,这次的end time为getdate(),每天如此反复;
3.增量数据先不要直接进到目标表表,先把增量数据放进一个中间过渡表,然后在采用merge的写法;
--以上适合一般大小的表;
4。对于你说到的大表,是要做分区的,分区的话有个switch partition的方法来处理分区,可以高并发的处理分区数据,这个可以很快,你可以试试。本回答被题主选为最佳回答 , 对您是否有帮助呢?解决 无用评论 打赏 举报
悬赏问题
- ¥15 如何制作永久二维码,最好是微信也可以扫开的。(相关搜索:管理系统)
- ¥15 delphi indy cookie 有效期
- ¥15 labelme打不开怎么办
- ¥35 按照图片上的两个任务要求,用keil5写出运行代码,并在proteus上仿真成功,🙏
- ¥15 免费的电脑视频剪辑类软件如何盈利
- ¥30 MPI读入tif文件并将文件路径分配给各进程时遇到问题
- ¥15 pycharm中导入模块出错
- ¥20 Ros2 moveit2 Windows环境配置,有偿,价格可商议。
- ¥15 有关“完美的代价”问题的代码漏洞
- ¥15 请帮我看一下这个简易化学配平器的逻辑有什么问题吗?