doris如何开启在Doris中开启"Merge on Write"特性

Question

kettle插入更新字段数据到doris的速度很慢,一秒钟三四条,怎么处理啊,我配置了kettle的基本选项,什么数据压缩,关闭什么预处理还是不行,已知我需要导入的表是唯一模型,也建立索引,还是很慢

Answer 1

引自免费微信小程序：皆我百晓生

针对Doris中开启"Merge on Write"特性的需求，Doris目前版本中并没有直接的"Merge on Write"特性，但其设计中包含了自动合并小文件的功能，这在一定程度上可以达到类似的效果。为了优化写入性能，你可以考虑以下几点：

1. 调整Write Buffer Size： 在Doris中，可以通过调整write_buffer_size参数来控制每个任务的写入缓冲区大小，增大此值可以减少磁盘I/O次数，从而提高写入速度。但是要注意，过大的缓冲区可能会增加内存压力。

2. 使用Batch Insert： 尝试将多条记录批量插入，而不是逐条插入，这样可以减少网络传输和系统调用的开销。

3. 优化Partition和Bucket设置： 确保你的表按照业务需求正确设置了分区和桶的数量，过多的分区或桶可能会导致额外的数据移动和管理成本。

4. 使用合适的编码类型： 选择合适的列存储格式和编码类型可以显著减少存储空间，同时提升读写性能。例如，对于数值类型，PLAIN编码通常比RLE或BITMAP更快，但可能占用更多空间。

关于Kettle插入更新字段数据到Doris速度慢的问题，可以尝试以下方法进行优化：

1. 使用Kettle的Batch Update步骤： Kettle提供了Batch Update步骤，可以用于执行批量SQL语句，相比于逐条执行，这能显著提高写入速度。

2. 禁用Row Level Triggers： 如果Doris中启用了行级触发器，尝试禁用它们，因为这些触发器在每行数据插入时都会被触发，可能会严重影响性能。

3. 优化Kettle作业配置：

   • 增加线程数：在Kettle的作业中，适当增加线程数可以利用多核CPU的优势，加速数据处理。
   • 使用并行执行：如果可能，使用并行执行多个转换或作业，以充分利用资源。

4. 数据预处理： 在数据进入Kettle之前，尽可能地进行预处理，比如数据清洗、格式转换等，以减少Kettle内部的处理时间。

5. 检查网络延迟： 如果Doris与Kettle运行在不同的服务器上，网络延迟可能是瓶颈。确保网络连接稳定且带宽足够。

如果以上方法都无法满足性能要求，建议进一步分析具体瓶颈所在，可能需要从硬件升级（如增加内存、使用更快的SSD硬盘）或架构调整（如引入缓存层、优化数据模型）等方面入手。此外，定期监控和调优Doris集群的性能参数也是必要的，以确保系统的高效运行。