- MySql 千万级数据量 查询很慢
-
如图：numberrecord 表 3600W数据量。
需求是去重掉 time 与 number一致的数据。 我用的去重插入复制表的方法。
目前已经执行12个小时了，一夜没睡。
试过用java去处理，多线程分页查询去重，jvm直接崩溃。
VM options : -Xms5000m -Xmx8000m 电脑内存16G的
问题2就是3600W数据
SELECT number FROM numberrecord where time <'2019-07-08' group by number
需要查询出 2019-07-08之前的所有number数据. 这个sql 如何优化。
time，number都有索引
求大牛给个高效率解决方案。
- 这种去重方案，本身不合理。在sql查询中，所有否定谓语，如not like， not in， not exist都不能应用索引
- 去掉重复，可以考虑采用distinct或者group by实现
- 数据量巨大，考虑按时间分区或分库分表，然后在分组查询和合并
首先这么复杂和数据量大的操作是一定不能放在SQL中来实现。
应该考虑在代码中分页实现，你在代码中报错只是因为没写好而已。
思路大概是：对应表建好索引。分页十万条查询去重后的数据，循环查询分1万条批量插入。
还有类似记录日志统计的数据，应该考虑放在mongodb上
- 其他相关推荐
- -
-
相关内容推荐
- 下载 计算机组成原理实验教程
- 博客 Java 最常见的 200+ 面试题：面试必备
- 下载 winfrom中嵌套html，跟html的交互
- 学院 玩转Python-Python3基础入门
- 学院 程序员的兼职技能课
- 学院 HoloLens2开发入门教程
- 下载 基于VHDL的16位ALU简易设计
- 下载 利用Verilog实现数字秒表（基本逻辑设计分频器练习）
- 学院 Python可以这样学（第一季：Python内功修炼）
- 下载 计算机操作系统 第三版.pdf
- 博客 技术大佬：我去，你写的 switch 语句也太老土了吧
- 学院 Vue.js 2.0之全家桶系列视频课程
- 学院 微信公众平台开发入门
- 学院 150讲轻松搞定Python网络爬虫
- 下载 SEIR课程设计源码与相关城市数据.rar
- 学院 Python数据挖掘简易入门
- 学院 2019 AI开发者大会
- 博客 Java面试题大全（2020版）
- 下载 定量遥感中文版 梁顺林著 范闻捷译
- 下载 GIS程序设计教程 基于ArcGIS Engine的C#开发实例
- 学院 三个项目玩转深度学习（附1G源码）
- 学院 微信小程序开发实战之番茄时钟开发
- 博客 面试了一个 31 岁程序员，让我有所触动，30岁以上的程序员该何去何从？
- 下载 去除异常值matlab程序
- 下载 用verilog HDL语言编写的秒表
- 下载 [透视java——反编译、修补和逆向工程技术]源代码