mysql 数据量太大,怎么优化一下 10C

SELECT dir1.url from dir1 LEFT JOIN dir2 on dir2.url=dir1.url where dir2.id is null or dir1.md5<>dir2.md5
如题,此语句当数据量大的时候会宕机
求助大神帮我想想怎么优化一下

因为我不是做这个的,我只是在c语言一个程序中用到了
然后用我的程序的人说会很慢,而且cpu占用率高
求助帮我优化

4个回答

在csdn里面有人发过一篇叫做“数据库性能优化之SQL语句优化”的博文,里面讲的就是如何优化以及提升效率,应该会对楼主有用,可以去看看

数据有多大?看看执行计划 找出瓶颈在那里。

先用explain查看一下执行的性能评估
然后就是你的索引是否利用上了

1、索引需要遵循最左原则
2、使用内存表

Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!
其他相关推荐
关于Mysql数据量大的查询,以及数据量大的写入文档问题

Mysql数据量上万的时候,查询就会出现缓慢问题了,这个对于数据量大的时候查询所有数据有什么好的方式? 大量数据写入的时候IO直接挂了,很想用多线程分开写入,但是不怎么会多线程,网上那些都是基础,不适合开发,求大神给个多线程实列。谢谢

mysql单表分页查询数据量大的情况下怎么优化

mysql单表分页查询数据量大的情况下怎么优化,另外mysql优化有哪些注意的地方

Mysql 数据冗余量太大怎么办

开发过程中,我们有底层设备向上传输设备的温湿度以及上传时间, 现在数据库的容量似乎不够了, 仔细看数据库发现很多数据都十分相似。 请问各位对这样情况是如何处理呢? ![图片说明](https://img-ask.csdn.net/upload/201703/10/1489130151_525685.png) 目前两个方法,一个是进行数据库的优化,但是不知从和下手, 另一个就是使用阿里云的表格储存,容量大,经费低,但是对代码改动很大。

求助:mysql 查询数据量过大时,索引失效

mysql 查询数据量过大时,索引失效,怎么让他使用索引来查询![图片说明](https://img-ask.csdn.net/upload/201512/23/1450854100_450104.png)

大数据量Mysql查询后经过循环使用python分片

1 问题描述: (1)使用mysql查询基础数据,这里只有三四个基础的查询条件,联了一个表,同时有limit分页了; (2)之后经过一系列逻辑处理,在这些处理中又包含了很多sql查询,而且是在第(1)条查询出来的结果基础上查询,以前是先分页的,第(1)一次只查询了十条,第二步最多循环十次,但是现在的新逻辑是,查询出来后,经过(2)的处理,不满足筛选条件的数据remove掉,然后再返回最后剩下的数据 (3)由于每一页都会remove()掉部分数据,我曾经尝试定义全局变量,记录删除数据,但是只能得到我当前查询这一页删除了多少,无法获取总共删除了多少,而且每一页的数量都不一定是10条,一般来说是10条以下(因为会删除部分不符合筛选条件的数据),但是要求是要获取满足筛选条件的总数据量,而且需要正常分页 (4)于是我不用limit分页,直接取全量数据,然后再记录删除的数据量,使用切片手动分页,就能获取总数据了,每页也都是10条,但是循环次数过多,数据量稍微大一点儿,就需要49秒左右 2 部分相关代码: (1)基础查询: ``` SELECT op.order_id, opc.order_code, op.created_at AS create_time, opc.departure_date, opc.end_date, opc.company, opc.channel_id, opc.retail, opc.final_cost, opc.has_pay, opc.commission_price, opc.commission_type, opc.commission_value \ FROM order_product_customize AS opc \ LEFT JOIN order_product AS op ON opc.order_product_id = op.order_product_id \ WHERE { 0 } ORDER BY opc.created_at DESC { 1 } ``` (2) 手动分页: ``` nextPage = limit_start+page_size result['data_list'] = result['data_list'][limit_start:nextPage] result['total_num'] = result['total_num'] - self.delNum ``` 3 报错信息: 没有报错,只是执行时间极其长 一台比较好的机器,执行时间为27.72秒,本地执行时间接近40秒,无法上传图片 4 已经尝试过的办法 (1)记录删除次数再减去(因为每次都只查一页,只能获取当前页删除的条数) (2)取符合筛选条件的全量数据(数据量太大,又有循环,导致速度极其慢) (3)每次查20条左右数据,然后获取没删除的前10条,记录最后一条的id(动态分页,无法获取每一页第一条数据,无法保证20条经过筛选后还能剩下10条)

mysql 大数据量该怎么存储和维护

各位大神好,小弟不才,遇到个需求如下: 目前有20000台仪器(将来会越来越多,可能达到60w),每个仪器平均每天会产生720条数据,要存储到mysql数据库中。那每天表中就会新增14400000条数据,这样要不了多久,这个表的查询就会特别慢,所以就做了分表处理,每台仪器对应一张表。现在单表的速度是提升了,但管理起来特别麻烦,首先workbench操作会特别卡特别慢,然后如果对表做字段变更的时候,就需要对20000张表做变更。这太疯狂了。所以想请教一下大神,我这样的情况该怎么处理呢

mysql数据库数据量太多有没有必要分开存放?

就是做一个考勤系统,比如很多公司都是用一个考勤系统的后台(java做的后台),那么数据库也是同一个数据库,只是在存取数据时用每个公司有编号区分,这样的话,时间长了会产生很多数据,这样会不会影响访问效率?应该怎么设计数据库?是不是 应该分开存放?每个公司建一个数据库存啊?有没有好的建议?(目前数据库是mysql)

MySql 千万级数据量 查询很慢

![图片说明](https://img-ask.csdn.net/upload/201907/09/1562638890_925956.png) ![图片说明](https://img-ask.csdn.net/upload/201907/09/1562638089_178461.png) 如图:numberrecord 表 3600W数据量。 需求是去重掉 time 与 number一致的数据。 我用的去重插入复制表的方法。 目前已经执行12个小时了,一夜没睡。 试过用java去处理,多线程分页查询去重,jvm直接崩溃。 ![图片说明](https://img-ask.csdn.net/upload/201907/09/1562638251_87062.jpg) VM options : -Xms5000m -Xmx8000m 电脑内存16G的 问题2就是3600W数据 SELECT number FROM numberrecord where time <'2019-07-08' group by number 需要查询出 2019-07-08之前的所有number数据. 这个sql 如何优化。 time,number都有索引 求大牛给个高效率解决方案。

mysql 查询数据量过大时,索引失效,怎么强制使用索引

![图片说明](https://img-ask.csdn.net/upload/201512/28/1451267322_661445.png)

php操作mysql InnoDB表,导出并删除日志表里数据,由于数据量过大

有这么一个需求,现在有一个表是系统日志表,由于表数据量太大,现在每天执行一次 定时任务,把表里的数据先导出到本地,然后清空,表里的数据。 在清空表里数据的时候,由于数据量太大,需要点时间,这时有新的日志写入的时候 把新数据写入到另一张同结构的表里,等原日志表删除完以后,就可以往进写日志了,再把副表里写入的数据,导入到主表中。 求大神指点思路,能详细点,非常感谢!

mysql not in(一批数据) 数据量大 线上不适合建表

select * from tb_aabb where id not in (20001,20002,20185,20204,20285,20738,40002,40003,40004,40005,40006,40011,40013); tb_aabb数据量百万级,同时id总量有1500,线上数据不适合建表联表,这种的有什么解决方案么?谢过了

三个字段确定一行数据,数据量太大

用的是mysql,现在有三张表,区域,品牌,供应商,这三个要素成立一行数据,自然想到的就是建有这三个字段的中间表,可问题是区域表有4000行,品牌表有1000行,供应商表有200行,那么这张中间表会达到亿级别的数据,这样肯定不行的 。我想到一个办法是依旧这张中间表,其中品牌字段用品牌id逗号分隔,数据量减少到数十万,好了很多,只是查询还真的比较麻烦。 请问各位有什么好方法吗?

Left Join在大批量数据查询中如何优化

Left Join在大批量数据查询中如何优化?具体表现为删除left join 时间大概为3秒,加上以后的时间为13秒。

亿级数据,mysql插入数据非常缓慢,谁给优化一下,代码如下。

``` package databasebit import ( "database/sql" "fmt" _ "github.com/go-sql-driver/mysql" ) //此函数要被调用上亿次,进行数据的插入以及查询 重复数据大概占比50 func Databaseinbit(db *sql.DB, newaddress string, newrece, newsend float32) { // 查询数据表的address字段内有没有重复数据 rows, err := db.Query("SELECT * FROM bitcoin WHERE address REGEXP '"+newaddress+"'") checkErr(err) //如果address数据重复 将rece与send进行更新 for rows.Next() { //在不报错的情况下 uid可以不提取数据 var uid int var address string var rece float32 var send float32 err = rows.Scan(&uid, &address, &rece, &send) checkErr(err) //如果地址相同 选择rece或者send进行更新 if address == newaddress { if newrece != 0 { rece += newrece stmt, err := db.Prepare("update bitcoin set rece=? WHERE address='"+newaddress+"'") checkErr(err) res, err := stmt.Exec(rece) checkErr(err) affect, err := res.RowsAffected() checkErr(err) fmt.Println("address:",address," :" , affect) rows.Close() return } if newsend != 0 { send += newsend stmt, err := db.Prepare("update bitcoin set send=? WHERE address='"+newaddress+"'") checkErr(err) res, err := stmt.Exec(send) checkErr(err) affect, err := res.RowsAffected() checkErr(err) fmt.Println("address:",address," : ", affect) rows.Close() return } } } // 如果没有重复数据 将数据插入 stmt, err := db.Prepare("INSERT bitcoin SET address=?,rece=?,send=?") checkErr(err) stmt.Exec(newaddress, newrece, newsend) return } func checkErr(err error) { if err != nil { panic(err) } } ``` 这是表的数据结构![图片说明](https://img-ask.csdn.net/upload/201811/22/1542867477_464546.png) 当全部数据插入完成后 对数据表中address字段进行查询 查询时间不能超过0.5s 数据规模亿级

执行比较大数据量的时候 mysql总是丢失链接 请问怎么处理啊

我要做的是把一张表中所有的utc字段转换成年月日的格式,这张表中大概有四百多万条数据。 我在执行 ``` UPDATE shipxy_out SET date = FROM_UNIXTIME(utc, '%Y年%m月%d日') ``` 的时候总是会出现这样的错误![图片说明](https://img-ask.csdn.net/upload/202002/20/1582206813_381546.png) 请问有什么解决办法吗?

数据库优化,现在由于数据量过大 而且要两个表合并来搜,怎么优化么?

由于我程序分了运行表和历史表,但查询数据呢却需要两个表合并来搜,然后按时间排序,然后才做到网页分页,现在历史表数据量4亿,运行表数据量40W。主要是单一字段查询。应该怎么优化呢?

为什么 mysql 单表数据很大的时候查询就很慢

## 如图,求解释 ![图片说明](https://img-ask.csdn.net/upload/201901/25/1548394013_910375.jpg) ## 。假设现在订单表,订单里面有个字段 卖家id, ## 那么在家了 卖家id索引的情况下,按理来说根据卖家id分表跟不分表的效率 ## 差别应该不是很大的,那么为什么说 表数据量大了,查询就很慢呢。 ## 而且分表的策略是根据卖家id。

大数据量下数据怎么全量比较

大数据量下数据怎么全量比较 大数据量下数据怎么全量比较 大数据量下数据怎么全量比较 有没有好的思路

Mysql带有longblob类型的表,如何实现大量数据批量插入

现在需要大量数据插入Mysql中,使用MySqlDataAdapter的Update速度太慢, 想要通过文件导入,把DataTable转成CSV文件,然后导入。 不过表字段中含有longblob类型的字段,这个应该怎么处理。 或者还有没有什么更好的插入方法?

大学四年自学走来,这些私藏的实用工具/学习网站我贡献出来了

大学四年,看课本是不可能一直看课本的了,对于学习,特别是自学,善于搜索网上的一些资源来辅助,还是非常有必要的,下面我就把这几年私藏的各种资源,网站贡献出来给你们。主要有:电子书搜索、实用工具、在线视频学习网站、非视频学习网站、软件下载、面试/求职必备网站。 注意:文中提到的所有资源,文末我都给你整理好了,你们只管拿去,如果觉得不错,转发、分享就是最大的支持了。 一、电子书搜索 对于大部分程序员...

在中国程序员是青春饭吗?

今年,我也32了 ,为了不给大家误导,咨询了猎头、圈内好友,以及年过35岁的几位老程序员……舍了老脸去揭人家伤疤……希望能给大家以帮助,记得帮我点赞哦。 目录: 你以为的人生 一次又一次的伤害 猎头界的真相 如何应对互联网行业的「中年危机」 一、你以为的人生 刚入行时,拿着傲人的工资,想着好好干,以为我们的人生是这样的: 等真到了那一天,你会发现,你的人生很可能是这样的: ...

程序员请照顾好自己,周末病魔差点一套带走我。

程序员在一个周末的时间,得了重病,差点当场去世,还好及时挽救回来了。

ArrayList源码分析(入门篇)

ArrayList源码分析 前言: 写这篇博客的主要原因是,在我上一次参加千牵科技Java实习生面试时,有被面试官问到ArrayList为什么查找的速度较快,插入和删除的速度较慢?当时我回答得不好,很大的一部分原因是因为我没有阅读过ArrayList源码,虽然最后收到Offer了,但我拒绝了,打算寒假学得再深入些再广泛些,下学期开学后再去投递其他更好的公司。为了更加深入理解ArrayList,也为

我以为我学懂了数据结构,直到看了这个导图才发现,我错了

数据结构与算法思维导图

String s = new String(" a ") 到底产生几个对象?

老生常谈的一个梗,到2020了还在争论,你们一天天的,哎哎哎,我不是针对你一个,我是说在座的各位都是人才! 上图红色的这3个箭头,对于通过new产生一个字符串(”宜春”)时,会先去常量池中查找是否已经有了”宜春”对象,如果没有则在常量池中创建一个此字符串对象,然后堆中再创建一个常量池中此”宜春”对象的拷贝对象。 也就是说准确答案是产生了一个或两个对象,如果常量池中原来没有 ”宜春” ,就是两个。...

技术大佬:我去,你写的 switch 语句也太老土了吧

昨天早上通过远程的方式 review 了两名新来同事的代码,大部分代码都写得很漂亮,严谨的同时注释也很到位,这令我非常满意。但当我看到他们当中有一个人写的 switch 语句时,还是忍不住破口大骂:“我擦,小王,你丫写的 switch 语句也太老土了吧!” 来看看小王写的代码吧,看完不要骂我装逼啊。 private static String createPlayer(PlayerTypes p...

和黑客斗争的 6 天!

互联网公司工作,很难避免不和黑客们打交道,我呆过的两家互联网公司,几乎每月每天每分钟都有黑客在公司网站上扫描。有的是寻找 Sql 注入的缺口,有的是寻找线上服务器可能存在的漏洞,大部分都...

讲一个程序员如何副业月赚三万的真实故事

loonggg读完需要3分钟速读仅需 1 分钟大家好,我是你们的校长。我之前讲过,这年头,只要肯动脑,肯行动,程序员凭借自己的技术,赚钱的方式还是有很多种的。仅仅靠在公司出卖自己的劳动时...

上班一个月,后悔当初着急入职的选择了

最近有个老铁,告诉我说,上班一个月,后悔当初着急入职现在公司了。他之前在美图做手机研发,今年美图那边今年也有一波组织优化调整,他是其中一个,在协商离职后,当时捉急找工作上班,因为有房贷供着,不能没有收入来源。所以匆忙选了一家公司,实际上是一个大型外包公司,主要派遣给其他手机厂商做外包项目。**当时承诺待遇还不错,所以就立马入职去上班了。但是后面入职后,发现薪酬待遇这块并不是HR所说那样,那个HR自...

女程序员,为什么比男程序员少???

昨天看到一档综艺节目,讨论了两个话题:(1)中国学生的数学成绩,平均下来看,会比国外好?为什么?(2)男生的数学成绩,平均下来看,会比女生好?为什么?同时,我又联想到了一个技术圈经常讨...

副业收入是我做程序媛的3倍,工作外的B面人生是怎样的?

提到“程序员”,多数人脑海里首先想到的大约是:为人木讷、薪水超高、工作枯燥…… 然而,当离开工作岗位,撕去层层标签,脱下“程序员”这身外套,有的人生动又有趣,马上展现出了完全不同的A/B面人生! 不论是简单的爱好,还是正经的副业,他们都干得同样出色。偶尔,还能和程序员的特质结合,产生奇妙的“化学反应”。 @Charlotte:平日素颜示人,周末美妆博主 大家都以为程序媛也个个不修边幅,但我们也许...

MySQL数据库面试题(2020最新版)

文章目录数据库基础知识为什么要使用数据库什么是SQL?什么是MySQL?数据库三大范式是什么mysql有关权限的表都有哪几个MySQL的binlog有有几种录入格式?分别有什么区别?数据类型mysql有哪些数据类型引擎MySQL存储引擎MyISAM与InnoDB区别MyISAM索引与InnoDB索引的区别?InnoDB引擎的4大特性存储引擎选择索引什么是索引?索引有哪些优缺点?索引使用场景(重点)...

如果你是老板,你会不会踢了这样的员工?

有个好朋友ZS,是技术总监,昨天问我:“有一个老下属,跟了我很多年,做事勤勤恳恳,主动性也很好。但随着公司的发展,他的进步速度,跟不上团队的步伐了,有点...

我入职阿里后,才知道原来简历这么写

私下里,有不少读者问我:“二哥,如何才能写出一份专业的技术简历呢?我总感觉自己写的简历太烂了,所以投了无数份,都石沉大海了。”说实话,我自己好多年没有写过简历了,但我认识的一个同行,他在阿里,给我说了一些他当年写简历的方法论,我感觉太牛逼了,实在是忍不住,就分享了出来,希望能够帮助到你。 01、简历的本质 作为简历的撰写者,你必须要搞清楚一点,简历的本质是什么,它就是为了来销售你的价值主张的。往深...

玩转springboot启动banner定义所得

最近接手了一个springboot项目,不是不熟悉这个框架,启动时打印的信息吸引了我。 这不是我熟悉的常用springboot的打印信息啊,我打开自己的项目: 还真是的,不用默认的感觉也挺高大上的。一时兴起,就去研究了一下源代码,还正是有些收获,稍后我会总结一下。正常情况下做为一个老程序员,是不会对这种小儿科感兴趣的,不就是一个控制台打印嘛。哈哈! 于是出于最初的好奇,研究了项目的源代码。看到

带了6个月的徒弟当了面试官,而身为高级工程师的我天天修Bug......

即将毕业的应届毕业生一枚,现在只拿到了两家offer,但最近听到一些消息,其中一个offer,我这个组据说客户很少,很有可能整组被裁掉。 想问大家: 如果我刚入职这个组就被裁了怎么办呢? 大家都是什么时候知道自己要被裁了的? 面试软技能指导: BQ/Project/Resume 试听内容: 除了刷题,还有哪些技能是拿到offer不可或缺的要素 如何提升面试软实力:简历, 行为面试,沟通能...

离职半年了,老东家又发 offer,回不回?

有小伙伴问松哥这个问题,他在上海某公司,在离职了几个月后,前公司的领导联系到他,希望他能够返聘回去,他很纠结要不要回去? 俗话说好马不吃回头草,但是这个小伙伴既然感到纠结了,我觉得至少说明了两个问题:1.曾经的公司还不错;2.现在的日子也不是很如意。否则应该就不会纠结了。 老实说,松哥之前也有过类似的经历,今天就来和小伙伴们聊聊回头草到底吃不吃。 首先一个基本观点,就是离职了也没必要和老东家弄的苦...

男生更看重女生的身材脸蛋,还是思想?

往往,我们看不进去大段大段的逻辑。深刻的哲理,往往短而精悍,一阵见血。问:产品经理挺漂亮的,有点心动,但不知道合不合得来。男生更看重女生的身材脸蛋,还是...

为什么程序员做外包会被瞧不起?

二哥,有个事想询问下您的意见,您觉得应届生值得去外包吗?公司虽然挺大的,中xx,但待遇感觉挺低,马上要报到,挺纠结的。

当HR压你价,说你只值7K,你该怎么回答?

当HR压你价,说你只值7K时,你可以流畅地回答,记住,是流畅,不能犹豫。 礼貌地说:“7K是吗?了解了。嗯~其实我对贵司的面试官印象很好。只不过,现在我的手头上已经有一份11K的offer。来面试,主要也是自己对贵司挺有兴趣的,所以过来看看……”(未完) 这段话主要是陪HR互诈的同时,从公司兴趣,公司职员印象上,都给予对方正面的肯定,既能提升HR的好感度,又能让谈判气氛融洽,为后面的发挥留足空间。...

面试:第十六章:Java中级开发(16k)

HashMap底层实现原理,红黑树,B+树,B树的结构原理 Spring的AOP和IOC是什么?它们常见的使用场景有哪些?Spring事务,事务的属性,传播行为,数据库隔离级别 Spring和SpringMVC,MyBatis以及SpringBoot的注解分别有哪些?SpringMVC的工作原理,SpringBoot框架的优点,MyBatis框架的优点 SpringCould组件有哪些,他们...

面试阿里p7,被按在地上摩擦,鬼知道我经历了什么?

面试阿里p7被问到的问题(当时我只知道第一个):@Conditional是做什么的?@Conditional多个条件是什么逻辑关系?条件判断在什么时候执...

终于懂了TCP和UDP协议区别

终于懂了TCP和UDP协议区别

你打算用Java 8一辈子都不打算升级到Java 14,真香

我们程序员应该抱着尝鲜、猎奇的心态,否则就容易固步自封,技术停滞不前。

无代码时代来临,程序员如何保住饭碗?

编程语言层出不穷,从最初的机器语言到如今2500种以上的高级语言,程序员们大呼“学到头秃”。程序员一边面临编程语言不断推陈出新,一边面临由于许多代码已存在,程序员编写新应用程序时存在重复“搬砖”的现象。 无代码/低代码编程应运而生。无代码/低代码是一种创建应用的方法,它可以让开发者使用最少的编码知识来快速开发应用程序。开发者通过图形界面中,可视化建模来组装和配置应用程序。这样一来,开发者直...

面试了一个 31 岁程序员,让我有所触动,30岁以上的程序员该何去何从?

最近面试了一个31岁8年经验的程序猿,让我有点感慨,大龄程序猿该何去何从。

大三实习生,字节跳动面经分享,已拿Offer

说实话,自己的算法,我一个不会,太难了吧

程序员垃圾简历长什么样?

已经连续五年参加大厂校招、社招的技术面试工作,简历看的不下于万份 这篇文章会用实例告诉你,什么是差的程序员简历! 疫情快要结束了,各个公司也都开始春招了,作为即将红遍大江南北的新晋UP主,那当然要为小伙伴们做点事(手动狗头)。 就在公众号里公开征简历,义务帮大家看,并一一点评。《启舰:春招在即,义务帮大家看看简历吧》 一石激起千层浪,三天收到两百多封简历。 花光了两个星期的所有空闲时...

《经典算法案例》01-08:如何使用质数设计扫雷(Minesweeper)游戏

我们都玩过Windows操作系统中的经典游戏扫雷(Minesweeper),如果把质数当作一颗雷,那么,表格中红色的数字哪些是雷(质数)?您能找出多少个呢?文中用列表的方式罗列了10000以内的自然数、质数(素数),6的倍数等,方便大家观察质数的分布规律及特性,以便对算法求解有指导意义。另外,判断质数是初学算法,理解算法重要性的一个非常好的案例。

立即提问
相关内容推荐