clickhouse如何去掉重复数据？

Question

a，每天2份指标数据，上午的是新增，下午的是更新数据（有补数有新增，但是99%都是重复的数据）

b, 采用ReplacingMergeTree存储引擎，但是合并数据操作是后台不定时执行，在这期间会有重复数据，查询的时候会重复

c，如果解决改从哪方面入手，1落地的时候执行OPTIMIZE语句（阻塞？数据量大的时候会不会失效？每个月大概1千万的数据量）2、查询的时候用final 效率太低

有没有更好的解决方案

Answer 1

把未处理的数据临时保存在hashmap里面效率是否比较高呢。