van_cc 2022-01-04 10:46 采纳率: 78.6%
浏览 109
已结题

数据库中的增量数据如何保存到redis?

问题遇到的现象和发生背景

有一个需求,需要将mysql用户操作表中的所有用户去重后保存到redis,但是之后要每天跑定时任务,查询是否有新的用户使用,来增量更新redis。

我的解答思路和尝试过的方法

我的思路是每天跑前一天的所有用户操作记录,去重后将用户往redis里面插数据,因为是set类型所以redis之前存入的用户就不会重复插入了

我想要达到的结果

个人认为这个方法有点蠢,不知道有没有其他方案?因为数据是千万级的,所以如果挨个判断value是否存在redis也不太现实。

  • 写回答

3条回答 默认 最新

  • 日落西风又在吹 2022-01-04 12:24
    关注

    Redis 中每个 hash 可以存储 232 - 1 键值对(40多亿)。
    初始化:
    项目上线时全量用户ID按照想要的规则排好序查出,存入到Redis Hash Key为 CUURENT_USER的HASH中
    用户注册成功后:
    将用户存入到存入到Redis Hash Key为 CUURENT_REGSITRY_USER的HASH中
    判断用户是否存在:
    从Hash Key为CUURENT_USER和CUURENT_REGSITRY_USER中去找没找到则未注册

    如果需要增量更新Redis注册用户:
    将CUURENT_REGSITRY_USER中的注册用户追加到CUURENT_REGSITRY_USER然后清空CUURENT_REGSITRY_USER即可,
    如果其他平台需要昨天注册的新用户则将CUURENT_REGSITRY_USER里面的用户发送给他方平台然后在执行追加与清空操作

    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论 编辑记录
查看更多回答(2条)

报告相同问题?

问题事件

  • 系统已结题 2月25日
  • 已采纳回答 2月17日
  • 创建了问题 1月4日

悬赏问题

  • ¥20 请问这种量表怎么用spss量化分析(作为中介模型的因变量
  • ¥55 AD844 howland电流源如何驱动大额负载
  • ¥15 C++ /QT 内存权限的判断函数列举
  • ¥15 深度学习GFnet理解问题
  • ¥15 单细胞小提琴堆叠图代码
  • ¥50 升级strust2版本到2.3.15.1后使用ognl3.0.6.jar windows环境中没有问题,但部署到linux环境报错
  • ¥15 vue页面,node封装接口
  • ¥15 求TMS320F280039C工程模板!
  • ¥15 delphi+fastreport实现分组补空打印问题
  • ¥15 使用python把两台mysql数据库服务器数据导出和导入