spark streaming实时分析去重问题

Question

spark streaming实时分析处理时，处理的数据可能会出现重复，需要根据唯一的key进行处理，谁知道怎么处理

Answer 1

根据场景来分析，如果是时间窗口内的去重，可以使用常规的distinct的方式，如果全局的去重，可以将key放入rdis中去重