van_cc 2022-01-04 10:46 采纳率: 78.6%
浏览 111
已结题

数据库中的增量数据如何保存到redis?

问题遇到的现象和发生背景

有一个需求,需要将mysql用户操作表中的所有用户去重后保存到redis,但是之后要每天跑定时任务,查询是否有新的用户使用,来增量更新redis。

我的解答思路和尝试过的方法

我的思路是每天跑前一天的所有用户操作记录,去重后将用户往redis里面插数据,因为是set类型所以redis之前存入的用户就不会重复插入了

我想要达到的结果

个人认为这个方法有点蠢,不知道有没有其他方案?因为数据是千万级的,所以如果挨个判断value是否存在redis也不太现实。

  • 写回答

3条回答 默认 最新

  • 日落西风又在吹 2022-01-04 12:24
    关注

    Redis 中每个 hash 可以存储 232 - 1 键值对(40多亿)。
    初始化:
    项目上线时全量用户ID按照想要的规则排好序查出,存入到Redis Hash Key为 CUURENT_USER的HASH中
    用户注册成功后:
    将用户存入到存入到Redis Hash Key为 CUURENT_REGSITRY_USER的HASH中
    判断用户是否存在:
    从Hash Key为CUURENT_USER和CUURENT_REGSITRY_USER中去找没找到则未注册

    如果需要增量更新Redis注册用户:
    将CUURENT_REGSITRY_USER中的注册用户追加到CUURENT_REGSITRY_USER然后清空CUURENT_REGSITRY_USER即可,
    如果其他平台需要昨天注册的新用户则将CUURENT_REGSITRY_USER里面的用户发送给他方平台然后在执行追加与清空操作

    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论 编辑记录
查看更多回答(2条)

报告相同问题?

问题事件

  • 系统已结题 2月25日
  • 已采纳回答 2月17日
  • 创建了问题 1月4日

悬赏问题

  • ¥15 任务是接收数据并把数据写入DAC7311,这些代码能实现此功能吗
  • ¥15 分析FP -Growth代码运行内存太大而无法运行的原因
  • ¥20 qtcreat 使用msvc编译器开发软件运行时字体锯齿感严重
  • ¥15 为何显示keyerror fruit
  • ¥15 关于#stm32#的问题:/* User can add his own implementation to report the HAL error return state */
  • ¥15 imageware粗糙度表面
  • ¥15 python使用pulp线性优化时报错
  • ¥15 为什么我的uibot导入py模块出错呀。py文件放在了uibot里对应的python文件夹了,卸了重安也不行
  • ¥15 开源或低价数据中台哪个最好
  • ¥15 arduino编程出现字符串疑似覆盖现象