头发多不多跟it没有直接关系 2021-09-27 12:03 采纳率: 75%
浏览 40
已结题

架构问题:通过ElasticSearch搜索引擎查询到的数据有必要返回数据库吗

如题:
现在在做一个商城的搜索引擎,项目中引入了es,然后具体搜索流程是
1.先把热数据所在表中需要进行搜索的字段单独存储到了es,这里是使用了定时任务来把数据同步到了es库中,但是只同步了需要进行搜索的字段,而不是整张表的数据
2.页面调用搜索功能时,直接使用es搜索并进行分页,获取到数据之后,遍历获取到的数据的id并将其返回mysql进行查询,并拿到完整数据,再将该数据返回到页面进行使用
缺点:
1.数据查询多了一个返回mysql数据库的步骤
2.页面在进行数据修改的时候,需要对mysql数据库和es数据进行同步操作,在调用列表接口,此时会出现es数据与mysql数据不同步的问题,导致页面数据出现幻读
问题:
1.通过es查询到的数据有必要返回mysql再查一遍吗?是不是直接将热数据整张表都存储到es,然后查询的时候直接用从es拿到的数据,更新数据时只更新es数据,将mysql与es的数据同步分离出来好一点?因为感觉这样在页面调用更新数据功能时,就不必进行数据同步操作,也叫不会出现数据幻读情况;但是感觉这样的话,es需要存储更多的数据

有没有合适的改进方案呢,还是说使用这套方案,通过其他方式来解决幻读问题(例如中间件或线程锁)

  • 写回答

1条回答 默认 最新

  • 三千烦恼丝xzh 2021-09-27 12:41
    关注

    MySQL开启binlog,以binlog同步的形式把数据同步到ES,举例搜索商品列表就把用到的数据都同步过去直接查ES,但是列表点进去的详情页就可以查MySQL,这样列表即使短时数据不一致其实问题也不大

    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论

报告相同问题?

问题事件

  • 系统已结题 2月23日
  • 已采纳回答 2月15日
  • 创建了问题 9月27日

悬赏问题

  • ¥15 metadata提取的PDF元数据,如何转换为一个Excel
  • ¥15 关于arduino编程toCharArray()函数的使用
  • ¥100 vc++混合CEF采用CLR方式编译报错
  • ¥15 coze 的插件输入飞书多维表格 app_token 后一直显示错误,如何解决?
  • ¥15 vite+vue3+plyr播放本地public文件夹下视频无法加载
  • ¥15 c#逐行读取txt文本,但是每一行里面数据之间空格数量不同
  • ¥50 如何openEuler 22.03上安装配置drbd
  • ¥20 ING91680C BLE5.3 芯片怎么实现串口收发数据
  • ¥15 无线连接树莓派,无法执行update,如何解决?(相关搜索:软件下载)
  • ¥15 Windows11, backspace, enter, space键失灵