qq_39955352 2019-03-04 09:27 采纳率: 5.6%
浏览 1703
已结题

关于同步程序如何增量更新的问题

现在我要做一个同步数据的程序同步每天的数据，用一张日志表记录每一次同步的状态，用最后一次成功的时间来判断下一次需要同步的数据，就不用每次同步所有数据，可是这样的问题是，每一次都要去别人的数据库建表，有没有别的更好的方法

  • 写回答

4条回答

  • 小小菜鸟2020 2019-03-04 10:08
    关注

    没看懂，你同步别人的数据，需要别人创建一张日志表？同步数据没必要创建表吧？

    评论

报告相同问题？

  • 关于每日定时增量抽取数据 java
    2021-10-11 23:15
    回答 2 已采纳 用数据说话可能比较清晰。1.今天晚上，b系统当天的数据已经全部收集完毕，不会有新数据了。23：55分，a系统开始发送请求同步数据2.a系统自动发送请求，第一个请求的参数 开始时间=2021-10-12
  • 大数据下的增量更新问题，局部更新而非全部更新 大数据
    2018-03-06 02:32
    回答 5 已采纳 大数据里面一般都没有修改和删除这个动作，其实都是插入数据，我们可以设置一个版本号，插入实现修改：如前100w条数据有一条，我们假设是数据A，数据A的内容是（id=1，name=张三，v=1（版本1））
  • 关于增量部署和全量部署. java
    2021-02-20 09:34
    回答 2 已采纳 做一个工具，增量更新的时候记录上次更新时所用的代码svn版本，之后更新的时候对比跟最后一次版本的差异，拿出差异文件，然后上传编译热更，手动去一个个上传修改容易出错或者漏
  • java定时增量同步,一种可配置的定时数据同步方法与流程
    2021-04-23 21:32
    weixin_39614831的博客 解决企业内部异构系统之间的数据同步问题。主要利用计算机多线程技术、XML技术、数据库技术实现。具有简单配置、快速部署、灵活扩展的特点，并且对于特定系统(比如CRM与ERP系统之间)，一次配置后，可重复使用，有利...
  • 企业微信部门人员同步 java spring 后端
    2022-05-17 09:21
    回答 8 已采纳 以树形结构进行处理，树形结构设计，根节点为部门，最左侧的叶子节点为根节点部门下的人员，其他叶子节点为根节点部门下的子部门。 如果不存在隶属关系，可以虚构一个隶属关系。采用先序遍历，根左右形式同时遍历两
  • PgSQL物化视图 增量更新 postgresql
    2023-02-07 09:31
    回答 2 已采纳 该回答引用ChatGPT请参考下面的解决方案，如果有帮助，还请点击 “采纳” 感谢！您的语法有错误。在 PostgreSQL 10.19 中，在 REFRESH 语句之前必须添加 WITH 关键字。
  • 关于#java#的问题：B表是项目里已经连好的库里，A表是其他系统的表，且A表新增数据不会发通知，B表的字段是A表的一部分，怎么实现A表的增量与B表同步 java sql
    2022-09-27 18:00
    回答 3 已采纳 我的想法是分为两种情况 1. a表端推送 2. b表端拉取 具体如下，不一定最合适，可以结合业务需求以及已有系统设计综合考虑 1. 如果a表所在系统由自己维护或者在设计上方便或允许修改代码，可以在a表
  • Java 解析binlog实现数据同步增量等操作
    2023-04-04 12:07
    希风雨的博客 因此在考虑是否使用row格式日志时应该根据应用的实际情况，其所产生的日志量会增加多少，以及带来的IO性能问题。缺点:所有的执行的语句当记录到日志中的时候，都将以每行记录的修改来记录，这样可能会产生大量的日志...
  • 编写程序，实现文件增量备份,需要运行结果 python 有问必答
    2021-12-09 20:48
    回答 1 已采纳 import os import shutil # 获取两个文件夹的所有文件 f1 = os.listdir(r'E:\a') f2 = os.listdir(r'E:\b') # 第一次将f1所
  • FlinkCDC连mysql时无法获取增量数据 big data flink 大数据
    2022-10-12 21:51
    回答 1 已采纳 解决了，没有开启checkpoint导致，加上下面代码即可env.enableCheckpointing(1000, CheckpointingMode.EXACTLY_ONCE);env.getCh
  • 我用pyqt5写了个程序，如何更新它 python qt 有问必答
    2022-05-05 18:23
    回答 2 已采纳 emmm...是说后期改ui吗，删了找目录下缓存就行还是动态添加界面的部件？Qgroupbox放里面，.hide(),试下Qtimer或pyqtSignal信号后放 .show()
  • ES增量同步方案
    2023-03-10 22:25
    涂有的博客 基于对我们系统现状的分析，最终确定的方案选择是基于Oracle的SCN机制 + 触发器来实现增量同步数据到ES，不依赖开源框架，基于Oracle的SCN机制实现insert/update数据的增量同步，基于delete触发器实现delete数据的...
  • 关于增量模型和快速原型模型
    2015-06-02 06:01
    回答 5 已采纳 增量模型融合了瀑布模型的基本成分（重复应用）和原型实现的迭代特征，该模型采用随着日程时间的进展而交错的线性序列，每一个线性序列产生软件的一个可发布的“增量”。当使用增量模型时，第1个增量往往是核心的产
  • Binlog2Hive:MySQL增量数据实时同步到HDFSHive
    2021-04-29 08:41
    项目背景RDS的数据实时同步到HDFS下，并映射到Hive原理通过解析RDS的binlog将...MAP：包括表名，数据库名WRITE_ROWS：包含增量的业务记录程序启动时会先从t_position表中获取上次的同步状态，根据上次的同步状态来确定
  • JAVA关于大数据量的同步处理的一些问题
    2021-12-21 16:45
    军大君的博客 1.大数据量重一个系统同步到另一个系统，在数据量过大的情况下，需要全量覆盖或增量更新，代码按照之前那种逻辑写的话就会出现脏数据的问题。 1.1：无需验证重复【全量覆盖】 第一次代码： 在代码的逻辑里面，我直接...
  • 没有解决我的问题, 去提问

悬赏问题

  • ¥20 腾讯企业邮箱邮件可以恢复么
  • ¥15 有人知道怎么将自己的迁移策略布到edgecloudsim上使用吗？
  • ¥15 错误 LNK2001 无法解析的外部符号
  • ¥50 安装pyaudiokits失败
  • ¥15 计组这些题应该咋做呀
  • ¥60 更换迈创SOL6M4AE卡的时候，驱动要重新装才能使用，怎么解决？
  • ¥15 让node服务器有自动加载文件的功能
  • ¥15 jmeter脚本回放有的是对的有的是错的
  • ¥15 r语言蛋白组学相关问题
  • ¥15 Python时间序列如何拟合疏系数模型