数据迁移中如何保证数据一致性？

Question

在数据迁移过程中，如何确保源端与目标端数据的一致性是一个核心挑战。常见的问题是：迁移中断或延迟导致的数据丢失或重复写入。特别是在增量迁移场景中，若未精确捕获和回放变更数据（如通过binlog或CDC），极易引发源库与目标库状态不一致。此外，网络波动、系统故障或时钟不同步也可能破坏数据顺序和完整性。因此，如何设计具备断点续传、幂等写入和一致性校验机制的迁移方案，成为保障数据一致性的关键技术难题。

Answer 1

1. 数据迁移中一致性保障的核心挑战概述

在现代分布式系统架构演进过程中，数据迁移已成为数据库升级、跨云迁移、灾备建设等场景中的关键环节。其核心目标之一是确保源端与目标端的数据最终一致性。然而，在实际操作中，由于网络波动、系统故障、时钟不同步等问题，极易导致数据丢失或重复写入。

特别是在增量迁移阶段，依赖于binlog（MySQL）、WAL（PostgreSQL）或变更数据捕获（CDC）技术进行变更同步时，若未能精确捕获和回放变更事件的顺序与内容，则会直接破坏数据状态的一致性。

2. 常见问题分析：从现象到根源

• 迁移中断导致断点不可恢复：进程崩溃后无法定位上次成功同步的位置，造成数据遗漏。
• 延迟引发的脏读或覆盖：目标库滞后于源库更新，可能将旧值写入已更新的记录。
• 重复写入破坏幂等性：因重试机制缺失或设计不当，同一变更被多次应用。
• 事件乱序提交：网络抖动或并行处理导致UPDATE先于INSERT执行，引发主键冲突或空引用。
• CDC位点偏移错误：解析binlog时position或GTID记录不准确，跳过或重复拉取日志。
• 时钟不同步影响时间戳判断：基于时间戳的增量抽取逻辑失效，漏同步或重复同步。
• 大事务阻塞迁移流：单个事务产生大量日志，拖慢整体同步速度，增加窗口期风险。
• DDL变更未同步处理：表结构变更未及时传递至目标端，导致后续DML失败。
• 异构系统类型映射偏差：如MySQL DATETIME 与 Oracle TIMESTAMP 精度差异引起数据截断。
• 缺乏自动化校验手段：人工比对效率低，难以发现细微差异。

3. 技术解决方案框架设计

问题类别	对应机制	典型实现方式
迁移中断	断点续传	持久化checkpoint（文件/DB/ZooKeeper）
重复写入	幂等写入	UPSERT语句、唯一约束+ON DUPLICATE KEY UPDATE
数据不一致	一致性校验	按批次checksum对比、全量row-by-row核对
顺序错乱	有序消费	单线程回放、Kafka分区有序、TSO排序
位点管理	CDC位点追踪	GTID、LSN、timestamp + offset组合存储

4. 断点续传机制的设计与实现

为应对迁移过程中的意外中断，必须建立可靠的断点记录机制。该机制需满足：

1. 原子性：位点与数据写入应尽可能保持原子提交。
2. 持久化：checkpoint信息应落盘或写入外部存储（如ZooKeeper、etcd）。
3. 可恢复性：重启后能准确加载最后成功的位点位置。

以MySQL binlog为例，可通过以下代码片段实现位点保存：

public void saveCheckpoint(String filename, long position) {
    try (FileWriter fw = new FileWriter("checkpoint.txt")) {
        fw.write(filename + "\n" + position);
    } catch (IOException e) {
        throw new RuntimeException("Failed to save checkpoint", e);
    }
}

在启动时读取该文件即可恢复同步起点，避免全量重新拉取。

5. 幂等写入策略的工程实践

为防止因重试导致的重复插入或更新异常，应在目标端实施幂等操作。常见方法包括：

• 使用数据库原生支持的INSERT ... ON DUPLICATE KEY UPDATE（MySQL）
• 采用MERGE INTO语法（Oracle、SQL Server）
• 利用唯一业务键构建幂等表，记录已处理事件ID

例如，针对用户订单同步场景，可基于订单号作为幂等键：

MERGE INTO target_orders t
USING (SELECT :order_id, :amount, :status FROM dual) s
ON (t.order_id = s.order_id)
WHEN MATCHED THEN UPDATE SET amount = s.amount, status = s.status
WHEN NOT MATCHED THEN INSERT VALUES (s.order_id, s.amount, s.status);

6. 一致性校验流程与自动化机制

为验证迁移完成后源端与目标端的数据一致性，建议引入多层级校验体系：

1. 行数比对：快速筛查表级差异。
2. 字段级checksum：对关键字段做MD5或CRC32聚合比对。
3. 抽样逐行对比：随机选取样本进行深度比对。
4. 全量比对（可选）：用于高敏感系统上线前终验。

如下Mermaid流程图展示了一致性校验的执行流程：

graph TD
    A[开始一致性校验] --> B{是否首次校验?}
    B -- 是 --> C[执行全量count比对]
    B -- 否 --> D[按时间范围增量比对]
    C --> E[生成checksum摘要]
    D --> E
    E --> F[比对源与目标摘要]
    F --> G{是否一致?}
    G -- 是 --> H[标记校验通过]
    G -- 否 --> I[输出差异报告]
    I --> J[启动修复任务]
    J --> K[重新校验]
    K --> G