Flink同步Postgres到Doris时，wal_level=replica会导致数据丢失吗？

Question

在使用Flink同步Postgres数据到Doris时，如果Postgres的`wal_level`配置为`replica`，是否会导致数据丢失？这是一个常见的技术问题。`wal_level=replica`主要支持流复制和逻辑解码的基本功能，但若Flink通过逻辑解码插件（如Debezium）捕获变更数据，可能因`replica`级别限制而遗漏部分元数据或事务信息，从而导致数据不一致或丢失。建议将`wal_level`设置为`logical`，以确保完整捕获所有逻辑更改。此外，还需确认Flink作业的检查点机制与Postgres的WAL日志保留策略匹配，避免因日志过期引发的数据丢失问题。因此，在实际生产环境中，合理配置`wal_level`和相关参数至关重要。

Answer 1

1. 问题背景与常见技术问题

在使用Flink同步Postgres数据到Doris的过程中，PostgreSQL的`wal_level`配置是一个关键点。`wal_level`定义了WAL（Write-Ahead Logging）日志记录的详细程度。常见的配置有`minimal`、`replica`和`logical`。

`wal_level=replica`主要支持流复制和基本的逻辑解码功能。然而，当Flink通过逻辑解码插件（如Debezium）捕获变更数据时，可能会因为`replica`级别的限制而遗漏部分元数据或事务信息，从而导致数据不一致或丢失。

• `minimal`：仅记录恢复数据库所需的最少信息。
• `replica`：支持物理复制和基础逻辑解码。
• `logical`：支持完整的逻辑解码功能。

因此，选择合适的`wal_level`配置对确保数据一致性至关重要。

2. 分析过程

为了深入理解`wal_level=replica`是否会导致数据丢失，我们需要从以下几个方面进行分析：

1. 逻辑解码的功能范围： `replica`级别仅支持基础逻辑解码，可能无法捕获所有必要的元数据。
2. Flink检查点机制： 如果Flink作业的检查点频率较低，而PostgreSQL的WAL日志被过早清理，则可能导致数据丢失。
3. PostgreSQL的WAL保留策略： 需要确保WAL日志保留时间足够长，以覆盖Flink作业的最长恢复窗口。

以下是`wal_level`配置对逻辑解码的支持情况：

wal_level	支持功能
minimal	仅支持崩溃恢复
replica	支持物理复制和基础逻辑解码
logical	支持完整逻辑解码

3. 解决方案

为了避免因`wal_level=replica`导致的数据丢失问题，建议采取以下措施：

• 将PostgreSQL的`wal_level`设置为`logical`，以确保完整捕获所有逻辑更改。
• 调整Flink作业的检查点机制，确保检查点频率与PostgreSQL的WAL日志保留策略匹配。
• 优化PostgreSQL的WAL日志保留策略，例如增加`max_wal_size`和`min_recovery_point`参数值。

以下是PostgreSQL相关参数的配置示例：

ALTER SYSTEM SET wal_level = 'logical';
ALTER SYSTEM SET max_wal_size = '2GB';
ALTER SYSTEM SET min_recovery_point = '1 hour';
    

4. 实际生产环境中的注意事项

在实际生产环境中，合理配置`wal_level`和相关参数尤为重要。以下是一个流程图，展示了如何确保数据同步过程中的一致性和完整性：

该流程图描述了Flink通过Debezium捕获Postgres变更数据并同步到Doris的过程。