weixin_54686435
2021-09-17 15:40
采纳率: 60%
浏览 34
已结题

mysql如何优化查询速度,判断数据是否重复

我现在想将爬虫下来的数据存储到mysql中,想根据url来判断是否存在。如果存在就不插入,一开始数据量比较少还可以遍历查询,现在数据量大了,每次遍历查询都需要很久,这个能优化吗?减少我的sql查询时间

  • 收藏

2条回答 默认 最新

  • 於黾 2021-09-17 15:48
    已采纳

    建立索引

    打赏 评论
  • 唯一的小彬哥 2021-09-17 16:05

    你要考虑你的数据量是多大。如果非常大。那么我建议你用分区表
    比如建哈希分区截取前N个字符作为分区键,这样数据可以平均分配到不同分区中。然后再建本地索引,这样可以极大的提升性能。比如1亿数据,那么这一亿数据会分配到N个分区中,每个分区的数据就不会太多。加上有本地索引,索引都会非常小。这样查询速度会非常快。

    打赏 评论

相关推荐 更多相似问题