头发多不多跟it没有直接关系 2021-09-27 12:03 采纳率: 75%
浏览 40
已结题

架构问题:通过ElasticSearch搜索引擎查询到的数据有必要返回数据库吗

如题:
现在在做一个商城的搜索引擎,项目中引入了es,然后具体搜索流程是
1.先把热数据所在表中需要进行搜索的字段单独存储到了es,这里是使用了定时任务来把数据同步到了es库中,但是只同步了需要进行搜索的字段,而不是整张表的数据
2.页面调用搜索功能时,直接使用es搜索并进行分页,获取到数据之后,遍历获取到的数据的id并将其返回mysql进行查询,并拿到完整数据,再将该数据返回到页面进行使用
缺点:
1.数据查询多了一个返回mysql数据库的步骤
2.页面在进行数据修改的时候,需要对mysql数据库和es数据进行同步操作,在调用列表接口,此时会出现es数据与mysql数据不同步的问题,导致页面数据出现幻读
问题:
1.通过es查询到的数据有必要返回mysql再查一遍吗?是不是直接将热数据整张表都存储到es,然后查询的时候直接用从es拿到的数据,更新数据时只更新es数据,将mysql与es的数据同步分离出来好一点?因为感觉这样在页面调用更新数据功能时,就不必进行数据同步操作,也叫不会出现数据幻读情况;但是感觉这样的话,es需要存储更多的数据

有没有合适的改进方案呢,还是说使用这套方案,通过其他方式来解决幻读问题(例如中间件或线程锁)

  • 写回答

1条回答 默认 最新

  • 三千烦恼丝xzh 2021-09-27 12:41
    关注

    MySQL开启binlog,以binlog同步的形式把数据同步到ES,举例搜索商品列表就把用到的数据都同步过去直接查ES,但是列表点进去的详情页就可以查MySQL,这样列表即使短时数据不一致其实问题也不大

    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论

报告相同问题?

问题事件

  • 系统已结题 2月23日
  • 已采纳回答 2月15日
  • 创建了问题 9月27日

悬赏问题

  • ¥20 mpich安装完成后出问题
  • ¥15 stm32循迹小车代码问题
  • ¥15 输入一堆单词,使其去重输出
  • ¥15 qc代码,修改和添加东西
  • ¥50 Unity的粒子系统使用shadergraph(内置管线)制作的一个顶点偏移shader,但是粒子模型移动时,顶点也会偏移
  • ¥15 如何用python处理excel的数据(极值标准化)
  • ¥15 三向应力状态求剪应力
  • ¥15 jupyter notebook如何添加libGL.so.1库
  • ¥20 easyPoi能否实现下拉多选或者复选框
  • ¥15 网桥在转发帧时,会变帧的源地址和目的地址吗?