Doris日增8TB数据，如何优化写入性能与存储效率？

Question

**问题：** 在Doris中，面对每日新增8TB数据的高频率写入场景，如何优化写入性能与存储效率？常见挑战包括写入吞吐不足、数据重复、Compaction压力大、存储成本过高等。应如何从分区策略、数据模型、索引结构、写入方式及压缩策略等方面进行调优？

Answer 1

一、写入性能与存储效率优化的背景与挑战

Apache Doris（原Palo）是一款高性能、实时分析型数据库，适用于大规模数据写入和复杂查询的场景。在面对每日新增8TB数据的高频率写入场景时，常见的性能瓶颈包括：

• 写入吞吐不足，导致延迟或数据堆积
• 数据重复插入，影响查询准确性和存储效率
• Compaction任务压力大，影响写入与查询性能
• 存储成本过高，压缩与编码策略不合理

这些问题的根源往往在于数据模型设计、分区策略选择、索引结构配置、写入方式不合理以及压缩策略不匹配。

二、分区策略优化

分区策略直接影响数据分布、写入并行度和查询效率。

1. 按时间分区（Time-based Partitioning）

适用于时间序列数据，如日志、监控数据。每日一个分区可降低Compaction压力，并便于数据生命周期管理。

CREATE TABLE example_db.example_table (
    ...
) PARTITION BY RANGE (event_date) (
    PARTITION p20250401 VALUES LESS THAN ("2025-04-02"),
    PARTITION p20250402 VALUES LESS THAN ("2025-04-03")
);

2. 动态分区（Dynamic Partition）

自动创建未来分区，适合数据持续写入的场景，减少人工维护成本。

PROPERTIES (
  "dynamic_partition.enable" = "true",
  "dynamic_partition.time_unit" = "DAY",
  "dynamic_partition.start" = "-3",
  "dynamic_partition.end" = "3"
)

三、数据模型设计

Doris支持多种数据模型：AGGREGATE、UNIQUE、DUPLICATE，选择合适的模型可显著影响写入性能与存储效率。

1. AGGREGATE模型

适用于需要聚合的数据场景，如统计类数据。可减少写入重复数据，降低Compaction压力。

2. UNIQUE模型

用于需要严格去重的场景，但写入性能较低，建议配合轻量级主键索引使用。

3. DUPLICATE模型

适用于原始日志、事件类数据，保留所有明细数据，写入效率高，但存储开销大。

模型类型	适用场景	写入性能	存储效率
AGGREGATE	聚合统计	中	高
UNIQUE	严格去重	低	中
DUPLICATE	明细数据	高	低

四、索引结构优化

Doris支持前缀索引（ZoneMap、BloomFilter等），合理配置索引可提升写入效率。

1. 前缀索引（Prefix Index）

定义前几个字段作为索引键，提升查询效率。但索引字段过多会增加写入开销。

2. BloomFilter索引

用于加速等值查询，适合高基数字段，如用户ID、订单ID等。

PROPERTIES ("bloom_filter_columns"="user_id,order_id")

3. ZoneMap索引

自动为每个字段构建最小最大值索引，无需手动配置，对范围查询有帮助。

五、写入方式优化

写入方式的选择直接影响吞吐量与系统负载。

1. Stream Load

通过HTTP接口实时写入，适合单次批量写入（如1MB~100MB），推荐设置合适的批次大小。

2. Broker Load / Routine Load

适用于从Kafka等消息队列中持续拉取数据，支持高吞吐写入。

CREATE ROUTINE LOAD example_db.example_job ON example_table
PROPERTIES(
  "desired_concurrent_number"="3",
  "max_batch_interval"="20"
)
FROM KAFKA(...);

3. 写入并发控制

• 调整desired_concurrent_number控制并发任务数
• 设置max_batch_interval平衡写入频率与资源消耗

六、压缩与编码策略优化

合理的压缩与编码策略能显著降低存储成本，同时不影响查询性能。

1. 编码方式选择

• DICT：适用于枚举型字段，如状态码、地区码
• BITMAP：用于低基数字段的快速过滤
• PLAIN：通用编码，适合字符串类字段

2. 压缩算法

• LZ4：压缩比低，解压速度快
• ZSTD：压缩比高，适合冷数据
• GZIP：压缩比高，CPU开销较大

PROPERTIES ("compression"="zstd")

七、Compaction策略优化

Compaction是Doris后台合并数据版本的机制，频繁写入会导致大量版本堆积，影响读性能。

1. 调整Compaction参数

• base_compaction_num_threads：控制Base Compaction线程数
• cumulative_compaction_num_threads：控制Cumulative Compaction线程数
• max_compaction_concurrency：限制Compaction并发任务数

2. 合理设置版本间隔

通过设置max_version_gap_to_use_delta等参数，控制版本合并频率，减少小版本堆积。

八、综合调优建议流程图

graph TD A[写入性能瓶颈] --> B{写入吞吐不足?} B -->|是| C[调整写入方式] B -->|否| D{数据重复问题?} D -->|是| E[选择UNIQUE模型] D -->|否| F{Compaction压力大?} F -->|是| G[优化Compaction参数] F -->|否| H{存储成本高?} H -->|是| I[调整压缩编码策略] H -->|否| J[完成调优]