数据库中的增量数据如何保存到redis？

Question

问题遇到的现象和发生背景

有一个需求，需要将mysql用户操作表中的所有用户去重后保存到redis，但是之后要每天跑定时任务，查询是否有新的用户使用，来增量更新redis。

我的解答思路和尝试过的方法

我的思路是每天跑前一天的所有用户操作记录，去重后将用户往redis里面插数据，因为是set类型所以redis之前存入的用户就不会重复插入了

我想要达到的结果

个人认为这个方法有点蠢，不知道有没有其他方案？因为数据是千万级的，所以如果挨个判断value是否存在redis也不太现实。

Answer 1

Redis 中每个 hash 可以存储 232 - 1 键值对（40多亿）。
初始化：
项目上线时全量用户ID按照想要的规则排好序查出，存入到Redis Hash Key为 CUURENT_USER的HASH中
用户注册成功后：
将用户存入到存入到Redis Hash Key为 CUURENT_REGSITRY_USER的HASH中
判断用户是否存在：
从Hash Key为CUURENT_USER和CUURENT_REGSITRY_USER中去找没找到则未注册

如果需要增量更新Redis注册用户：
将CUURENT_REGSITRY_USER中的注册用户追加到CUURENT_REGSITRY_USER然后清空CUURENT_REGSITRY_USER即可，
如果其他平台需要昨天注册的新用户则将CUURENT_REGSITRY_USER里面的用户发送给他方平台然后在执行追加与清空操作