mysql 单表数据行10亿

mysql 单表数据行10亿 频繁的查询 修改 删除 通过分区和索引 读写分离 可以解决 效率问题吗 ? 还是必须要分表那?

3个回答

分表,读写分离,都用上吧。

必须分表。大概每张表600-800万数据性能会比较好。
针对频繁查询的创建索引,或者联合索引。
读写分离肯定也要做。
频繁的查询,修改,删除,还数据这么大,那些数据是否都真的有用哈?如果没用可以考虑垂直分表,把不用的数据丢一边去。
另外这么大数据可以考虑使用elasticsearch等搜索引擎来做查询。

建议分表,如果业务是读多写少可以加上读写分离

Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!
其他相关推荐
mysql单表分页查询数据量大的情况下怎么优化

mysql单表分页查询数据量大的情况下怎么优化,另外mysql优化有哪些注意的地方

mysql 单表查询,500万条数据,查询跑了15S,求大神指点如何提速?

今天发现一个接口请求半天了才响应,逐一排查后,发现一段SQL查询时间15s有点长,下面是表结构。 ![图片说明](https://img-ask.csdn.net/upload/201910/18/1571382805_398327.jpg) 数据在500万条左右,下面是SQL. ``` select v.IP, DATE_FORMAT(v.CREATE_DATE,'%Y-%m') as visitDate from VISIT v where v.CREATE_DATE >= str_to_date(concat('2018-06-28',' 00:00:00'), '%Y-%m-%d %H:%i:%s') and v.CREATE_DATE <= str_to_date(concat('2019-10-18',' 23:59:59'), '%Y-%m-%d %H:%i:%s') GROUP BY v.IP ``` 求大神指点,该如何加速?

mysql查询50-100条数据如何查询

mysql查询50-100条数据如何查询mysql查询50-100条数据如何查询mysql查询50-100条数据如何查询

请问mysql如何生成10万数据

因为我要给自己的项目测试,所以打算生成10条数据,求大佬帮助

[mysql数据库]10万张表和1张亿级的表该怎样选择呢?请求高手给个建议

mysql数据库 1、每张表2000左右的数据,10万张表;2、一张表2亿的数据 对表的操作频率(平每1-3分钟操作一次,高频时3-10秒操作一次) 这两种场景,哪种效率高呢? 请求高手给个建议

100亿行数据存在文件中,每行数据有一个数字,提取前100个最大数字,怎么搞?

假设:100亿行数据存在文件中,每行数据有一个数字,提取前100个最大数字,怎么搞? (PHP+mysql实现 思路即可)

一张亿级的数据表怎么做更新优化

今天面试,面试官问了我这个问题,我说SQL优化和索引,他说索引范反而更慢了,我在网上查了下,不是太能理解,望大家帮忙解决下

千万级MySQL数据库如何实现秒查

表字段: ID,title,link,book_id 查询语句: select id,title,link,book_id from ebook.bus_chapter where book_id=936049

求教SparkStreaming 读取数据库表如mysql、cassandra等,每个batch是整张表吗?

需要做一个实时监控统计的系统,准备使用cassandra作为数据库,因为数据提交不带有最终统计的部分信息,需要将kafka dstream和已经存在cassandra内的部分表在spark中做关联。 打算采用sparkstreaming实时消费信息,同时读取cassandra表(增量变动)做关联。如果streaming读取cassandra的没个batch不是整张表会导致join失败吧

上亿条记录的表的查询问题

一个6亿条记录的表a,一个3亿条记录的表b,通过外键tid关联,如何最快的查询出满足条件的第50000到50200条数据?

mysql千万级load data 效率如何提升?

数据库:mysql 操作系统:linux cpu:4 内存:32G 如表:tababc, 10个col,按时间月分区。表已有数据过亿。表本身做了压缩处理。 现 load data 数据,单文件5000W条记录,load 到表中后,时间大概90min分钟。 测试过将文件切割500W每份,整体效率提升并不明显。 有没有什么好的方法能提高load data 入库的方法。 (mysql 采用的是innodb引擎,buffer给了20G左右。)

百万条数据下,查找当天某个设备的数据总和(sum),最效率!!!

mysql中如何在2百多万条数据中查找当天的数据然后在求和汇总。 表结构中有modify_date,device_id,elec_increase等将近20个字段。 现在需要查找当天的device_id为特定值的elec_increase的总和。 怎么查找最快,最效率

MongoDB千亿级别数据存储可行性讨论

应用背景:存储传感器设备采集的数据,能够支持50万台传感器。一台传感器每天产生400条数据,数据要保存五年。 一共有50W*400*365*5=3650亿条记录。 不同的传感器之间数据互不干扰,相互独立的。 也就是,一台传感器五年的数据共有400*365*5=73万条,实际进行合理拆分,这个数据量不大。 “表:equData”传感器历史数据表 * {---------------一共50W(设备数量)条。 * id :"传感器ID", * HISTORY :[ * {采集时间:“”,传感器数据1:“如温度值”,传感器数据2:“如湿度值”,...}, {采集时间:“”,传感器数据1:“如温度值”,传感器数据2:“如湿度值”,...}, …… *****一供73万条(历史数据) * ] * } 请问大概实现以上的表结构,普通的服务器(能够支持关系型数据库单表共100万记录秒查)上能否做到秒查。 查询条件为设备ID,采集时间段,分页。 -------------- 也考虑过用文件存储这些数据,有什么好的方案,请指教!

大量单条数据使用spark效率高吗?

比如 我有 1亿条 汉字句子,需要生成哈希码,但是这些句子不能组成list,只能单条一条一条的生成哈希码,这样使用spark,会提升效率吗?这种应用场景,应该怎么使用spark?

mysql关联查询,结果去重问题!!!

以下是sql: ``` SELECT T.ID AS 'id', P.PRODUCT_CODE AS 'productCode', P.PRODUCT_NAME AS 'productName', P.BRAND_ID AS 'brandId', T.QUANTITY AS 'distributorId', W.WAREHOUSE_NAME AS 'keyWord', P.BIG_UNIT_ID AS 'bigUnitId', P.LITTLE_UNIT_ID AS 'little_unit_id', S.SPEC_NAME AS 'categoryId' FROM ol_warehouse_product T LEFT JOIN ol_product P ON T.PRODUCT_ID = P.ID LEFT JOIN ol_warehouse W ON T.WAREHOUSE_ID = W.ID LEFT JOIN ol_product_spec S ON T.PRODUCT_ID = S.PRODUCT_ID WHERE 1 = 1 AND T.DEL_FLAG LIKE '%0%' GROUP BY T.ID, P.PRODUCT_CODE, P.PRODUCT_NAME, P.BRAND_ID, T.QUANTITY, W.WAREHOUSE_NAME, P.BIG_UNIT_ID, P.LITTLE_UNIT_ID, S.SPEC_NAME ORDER BY T.CREATE_DATE DESC ``` 以下是查询结果: ![图片说明](https://img-ask.csdn.net/upload/201802/11/1518335641_518886.png) 现在想一次性把跟ol_warehouse_product这张表有关联的数据查出来,出现重复数据,找了好久资料都没办法解决,最开始的时候有很多重复数据,通过group by之后现在就剩下两条了,但是数据库ol_warehouse_product表中其实只有一条数据,并且S.SPEC_NAME的值是“块”,不知道从那里跑出来个分,各位大大,给小弟一点建议吧。

MySQL数据库表查询优化

假如一个表中有10亿行数据,要查询的数据位置随意,则做一次查询大约需要多久,该怎么样调高查询效率。

关于mysql重复计算的问题

现有两张数据表 input_order ord_id item_id name input_num date A001 1 火龙果 40 2017-11-04 A002 2 芒果 60 2017-11-04 A003 3 橘子 20 2017-11-04 A004 2 芒果 80 2017-11-04 output_order ord_id item_id name output_num date B001 1 火龙果 20 2017-11-04 B002 2 芒果 10 2017-11-04 B003 3 橘子 10 2017-11-04 B004 2 芒果 20 2017-11-04 使用如下算法语言, SELECT input_order.item_id,input_order.ord_prod_name, Sum(input_order. input_num - output_order.out_num) as inventorynum FROM input_order LEFT JOIN output_order ON input_order.item_id = output_order.item_id WHERE input_order.ord_date = output_order.ord_date GROUP BY input_order.item_id 想要的结果是按item_id分组计算同一天的总库存,即用Sum(input_order. input_num - output_order.out_num) 进货减去出货,现在发现问题,任意水果(示例图为芒果)同天有一笔以上进货时,得到的结果会出错,变成笔数*正确数值,如果<=一笔则能正确计算,求解!!!原因!!

ECharts怎样用AJAX从数据库中调数据?

下面代码中是ECharts用AJAX从数据库中调数据,但前端页面无法显示数据,求问代码中哪里有误? ``` map1.html <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd"> <html xmlns="http://www.w3.org/1999/xhtml"> <head> <meta http-equiv="Content-Type" content="text/html; charset=utf-8" /> <title>无标题文档</title> </head> <body> <div id="myChart" style="height:500px;"></div> <script src="./js/jquery-1.8.3.min.js"></script> <script> $.ajax({ type: "post", async: false, //同步执行 url: "mapdata.php", dataType: "json", //返回数据形式为json success: function (result) { myChart.hideLoading(); //隐藏加载动画 myChart.setOption({ //渲染数据 series: [{ // 根据名字对应到相应的系列 name: '2015年GDP', data: result }] }); }, error: function () { alert("请求数据失败!"); } }); </script> <script src="./js/echarts.js"></script> <script> require.config({ paths: { echarts: './js' } }); require( [ 'echarts', 'echarts/chart/map' // 按需加载所需图表,如需动态类型切换功能,别忘了同时加载相应图表 ], function (ec) { var myChart = ec.init(document.getElementById('myChart')); var option = { title: { text: '2015年GDP统计数据', subtext: '数据来源网络(单位:亿元)', left: 'center' //标题居中 }, tooltip: { //提示工具, trigger: 'item', formatter: "{a} <br/>{b} : {c}亿元" }, visualMap: { //视觉映射组件,可以根据范围调节数据变化 min: 0, //最小值 max: 10, //最大值 left: 'left', //位置 top: 'bottom', orient: 'horizontal', //水平 text: ['高', '低'], // 文本,默认为数值文本 calculable: true //是否启用值域漫游,即是否有拖拽用的手柄,以及用手柄调整选中范围。 }, toolbox: { //工具栏 show: true, orient: 'vertical', //垂直 left: 'right', top: 'center', feature: { mark: { show: true }, saveAsImage: { show: true } //保存为图片 } }, series: [{ name: '2015年GDP', type: 'map', mapType: 'china', //使用中国地图 roam: false, //是否开启鼠标缩放和平移 itemStyle: { normal: { label: { show: true } }, emphasis: { label: { show: true } } }, data: [] }] }; //myChart.showLoading(); //预加载动画 myChart.setOption(option); //渲染地图 } ); </script> </body> </html> mapdata.php <?php include_once('connect.php'); //连接数据库 //查询数据 $sql = "select * from echarts_map"; $query = mysql_query($sql); while ($row = mysql_fetch_array($query)) { $arr[] = array( 'name' => $row['province'], 'value' => $row['gdp'] ); } mysql_close($q); echo json_encode($arr); //输出json格式数据 ?> connect.php <?php $q = mysql_connect("localhost","root","dglgxx"); if(!$q) { die('Could not connect: ' . mysql_error()); } mysql_query("set names utf8"); //以utf8读取数据 mysql_select_db("test02",$q); //数据库 ?> ``` 数据库的表 ![图片说明](https://img-ask.csdn.net/upload/201607/13/1468397398_141664.png)

现在有1500万条数据,想从中随机抽取50万条,采用什么方式比较快捷?

现在有1500万条数据,想从中随机抽取50万条,采用什么方式比较快捷。数据是存储在mysql里的。

大学四年自学走来,这些私藏的实用工具/学习网站我贡献出来了

大学四年,看课本是不可能一直看课本的了,对于学习,特别是自学,善于搜索网上的一些资源来辅助,还是非常有必要的,下面我就把这几年私藏的各种资源,网站贡献出来给你们。主要有:电子书搜索、实用工具、在线视频学习网站、非视频学习网站、软件下载、面试/求职必备网站。 注意:文中提到的所有资源,文末我都给你整理好了,你们只管拿去,如果觉得不错,转发、分享就是最大的支持了。 一、电子书搜索 对于大部分程序员...

在中国程序员是青春饭吗?

今年,我也32了 ,为了不给大家误导,咨询了猎头、圈内好友,以及年过35岁的几位老程序员……舍了老脸去揭人家伤疤……希望能给大家以帮助,记得帮我点赞哦。 目录: 你以为的人生 一次又一次的伤害 猎头界的真相 如何应对互联网行业的「中年危机」 一、你以为的人生 刚入行时,拿着傲人的工资,想着好好干,以为我们的人生是这样的: 等真到了那一天,你会发现,你的人生很可能是这样的: ...

Java基础知识面试题(2020最新版)

文章目录Java概述何为编程什么是Javajdk1.5之后的三大版本JVM、JRE和JDK的关系什么是跨平台性?原理是什么Java语言有哪些特点什么是字节码?采用字节码的最大好处是什么什么是Java程序的主类?应用程序和小程序的主类有何不同?Java应用程序与小程序之间有那些差别?Java和C++的区别Oracle JDK 和 OpenJDK 的对比基础语法数据类型Java有哪些数据类型switc...

我以为我学懂了数据结构,直到看了这个导图才发现,我错了

数据结构与算法思维导图

String s = new String(" a ") 到底产生几个对象?

老生常谈的一个梗,到2020了还在争论,你们一天天的,哎哎哎,我不是针对你一个,我是说在座的各位都是人才! 上图红色的这3个箭头,对于通过new产生一个字符串(”宜春”)时,会先去常量池中查找是否已经有了”宜春”对象,如果没有则在常量池中创建一个此字符串对象,然后堆中再创建一个常量池中此”宜春”对象的拷贝对象。 也就是说准确答案是产生了一个或两个对象,如果常量池中原来没有 ”宜春” ,就是两个。...

技术大佬:我去,你写的 switch 语句也太老土了吧

昨天早上通过远程的方式 review 了两名新来同事的代码,大部分代码都写得很漂亮,严谨的同时注释也很到位,这令我非常满意。但当我看到他们当中有一个人写的 switch 语句时,还是忍不住破口大骂:“我擦,小王,你丫写的 switch 语句也太老土了吧!” 来看看小王写的代码吧,看完不要骂我装逼啊。 private static String createPlayer(PlayerTypes p...

Linux面试题(2020最新版)

文章目录Linux 概述什么是LinuxUnix和Linux有什么区别?什么是 Linux 内核?Linux的基本组件是什么?Linux 的体系结构BASH和DOS之间的基本区别是什么?Linux 开机启动过程?Linux系统缺省的运行级别?Linux 使用的进程间通信方式?Linux 有哪些系统日志文件?Linux系统安装多个桌面环境有帮助吗?什么是交换空间?什么是root帐户什么是LILO?什...

Linux命令学习神器!命令看不懂直接给你解释!

大家都知道,Linux 系统有非常多的命令,而且每个命令又有非常多的用法,想要全部记住所有命令的所有用法,恐怕是一件不可能完成的任务。 一般情况下,我们学习一个命令时,要么直接百度去搜索它的用法,要么就直接用 man 命令去查看守冗长的帮助手册。这两个都可以实现我们的目标,但有没有更简便的方式呢? 答案是必须有的!今天给大家推荐一款有趣而实用学习神器 — kmdr,让你解锁 Linux 学习新姿势...

和黑客斗争的 6 天!

互联网公司工作,很难避免不和黑客们打交道,我呆过的两家互联网公司,几乎每月每天每分钟都有黑客在公司网站上扫描。有的是寻找 Sql 注入的缺口,有的是寻找线上服务器可能存在的漏洞,大部分都...

史上最全的 python 基础知识汇总篇,没有比这再全面的了,建议收藏

网友们有福了,小编终于把基础篇的内容全部涉略了一遍,这是一篇关于基础知识的汇总的文章,请朋友们收下,不用客气,不过文章篇幅肯能会有点长,耐心阅读吧爬虫(七十)多进程multiproces...

讲一个程序员如何副业月赚三万的真实故事

loonggg读完需要3分钟速读仅需 1 分钟大家好,我是你们的校长。我之前讲过,这年头,只要肯动脑,肯行动,程序员凭借自己的技术,赚钱的方式还是有很多种的。仅仅靠在公司出卖自己的劳动时...

女程序员,为什么比男程序员少???

昨天看到一档综艺节目,讨论了两个话题:(1)中国学生的数学成绩,平均下来看,会比国外好?为什么?(2)男生的数学成绩,平均下来看,会比女生好?为什么?同时,我又联想到了一个技术圈经常讨...

85后蒋凡:28岁实现财务自由、34岁成为阿里万亿电商帝国双掌门,他的人生底层逻辑是什么?...

蒋凡是何许人也? 2017年12月27日,在入职4年时间里,蒋凡开挂般坐上了淘宝总裁位置。 为此,时任阿里CEO张勇在任命书中力赞: 蒋凡加入阿里,始终保持创业者的冲劲,有敏锐的...

总结了 150 余个神奇网站,你不来瞅瞅吗?

原博客再更新,可能就没了,之后将持续更新本篇博客。

副业收入是我做程序媛的3倍,工作外的B面人生是怎样的?

提到“程序员”,多数人脑海里首先想到的大约是:为人木讷、薪水超高、工作枯燥…… 然而,当离开工作岗位,撕去层层标签,脱下“程序员”这身外套,有的人生动又有趣,马上展现出了完全不同的A/B面人生! 不论是简单的爱好,还是正经的副业,他们都干得同样出色。偶尔,还能和程序员的特质结合,产生奇妙的“化学反应”。 @Charlotte:平日素颜示人,周末美妆博主 大家都以为程序媛也个个不修边幅,但我们也许...

MySQL数据库面试题(2020最新版)

文章目录数据库基础知识为什么要使用数据库什么是SQL?什么是MySQL?数据库三大范式是什么mysql有关权限的表都有哪几个MySQL的binlog有有几种录入格式?分别有什么区别?数据类型mysql有哪些数据类型引擎MySQL存储引擎MyISAM与InnoDB区别MyISAM索引与InnoDB索引的区别?InnoDB引擎的4大特性存储引擎选择索引什么是索引?索引有哪些优缺点?索引使用场景(重点)...

新一代神器STM32CubeMonitor介绍、下载、安装和使用教程

关注、星标公众号,不错过精彩内容作者:黄工公众号:strongerHuang最近ST官网悄悄新上线了一款比较强大的工具:STM32CubeMonitor V1.0.0。经过我研究和使用之...

如果你是老板,你会不会踢了这样的员工?

有个好朋友ZS,是技术总监,昨天问我:“有一个老下属,跟了我很多年,做事勤勤恳恳,主动性也很好。但随着公司的发展,他的进步速度,跟不上团队的步伐了,有点...

我入职阿里后,才知道原来简历这么写

私下里,有不少读者问我:“二哥,如何才能写出一份专业的技术简历呢?我总感觉自己写的简历太烂了,所以投了无数份,都石沉大海了。”说实话,我自己好多年没有写过简历了,但我认识的一个同行,他在阿里,给我说了一些他当年写简历的方法论,我感觉太牛逼了,实在是忍不住,就分享了出来,希望能够帮助到你。 01、简历的本质 作为简历的撰写者,你必须要搞清楚一点,简历的本质是什么,它就是为了来销售你的价值主张的。往深...

大学一路走来,学习互联网全靠这几个网站,最终拿下了一把offer

大佬原来都是这样炼成的

离职半年了,老东家又发 offer,回不回?

有小伙伴问松哥这个问题,他在上海某公司,在离职了几个月后,前公司的领导联系到他,希望他能够返聘回去,他很纠结要不要回去? 俗话说好马不吃回头草,但是这个小伙伴既然感到纠结了,我觉得至少说明了两个问题:1.曾经的公司还不错;2.现在的日子也不是很如意。否则应该就不会纠结了。 老实说,松哥之前也有过类似的经历,今天就来和小伙伴们聊聊回头草到底吃不吃。 首先一个基本观点,就是离职了也没必要和老东家弄的苦...

为什么你不想学习?只想玩?人是如何一步一步废掉的

不知道是不是只有我这样子,还是你们也有过类似的经历。 上学的时候总有很多光辉历史,学年名列前茅,或者单科目大佬,但是虽然慢慢地长大了,你开始懈怠了,开始废掉了。。。 什么?你说不知道具体的情况是怎么样的? 我来告诉你: 你常常潜意识里或者心理觉得,自己真正的生活或者奋斗还没有开始。总是幻想着自己还拥有大把时间,还有无限的可能,自己还能逆风翻盘,只不是自己还没开始罢了,自己以后肯定会变得特别厉害...

什么时候跳槽,为什么离职,你想好了么?

都是出来打工的,多为自己着想

为什么程序员做外包会被瞧不起?

二哥,有个事想询问下您的意见,您觉得应届生值得去外包吗?公司虽然挺大的,中xx,但待遇感觉挺低,马上要报到,挺纠结的。

当HR压你价,说你只值7K,你该怎么回答?

当HR压你价,说你只值7K时,你可以流畅地回答,记住,是流畅,不能犹豫。 礼貌地说:“7K是吗?了解了。嗯~其实我对贵司的面试官印象很好。只不过,现在我的手头上已经有一份11K的offer。来面试,主要也是自己对贵司挺有兴趣的,所以过来看看……”(未完) 这段话主要是陪HR互诈的同时,从公司兴趣,公司职员印象上,都给予对方正面的肯定,既能提升HR的好感度,又能让谈判气氛融洽,为后面的发挥留足空间。...

面试阿里p7,被按在地上摩擦,鬼知道我经历了什么?

面试阿里p7被问到的问题(当时我只知道第一个):@Conditional是做什么的?@Conditional多个条件是什么逻辑关系?条件判断在什么时候执...

你期望月薪4万,出门右拐,不送,这几个点,你也就是个初级的水平

先来看几个问题通过注解的方式注入依赖对象,介绍一下你知道的几种方式@Autowired和@Resource有何区别说一下@Autowired查找候选者的...

面试了一个 31 岁程序员,让我有所触动,30岁以上的程序员该何去何从?

最近面试了一个31岁8年经验的程序猿,让我有点感慨,大龄程序猿该何去何从。

大三实习生,字节跳动面经分享,已拿Offer

说实话,自己的算法,我一个不会,太难了吧

程序员垃圾简历长什么样?

已经连续五年参加大厂校招、社招的技术面试工作,简历看的不下于万份 这篇文章会用实例告诉你,什么是差的程序员简历! 疫情快要结束了,各个公司也都开始春招了,作为即将红遍大江南北的新晋UP主,那当然要为小伙伴们做点事(手动狗头)。 就在公众号里公开征简历,义务帮大家看,并一一点评。《启舰:春招在即,义务帮大家看看简历吧》 一石激起千层浪,三天收到两百多封简历。 花光了两个星期的所有空闲时...

立即提问
相关内容推荐