mysql 大数据量该怎么存储和维护 100C

各位大神好,小弟不才,遇到个需求如下:
目前有20000台仪器(将来会越来越多,可能达到60w),每个仪器平均每天会产生720条数据,要存储到mysql数据库中。那每天表中就会新增14400000条数据,这样要不了多久,这个表的查询就会特别慢,所以就做了分表处理,每台仪器对应一张表。现在单表的速度是提升了,但管理起来特别麻烦,首先workbench操作会特别卡特别慢,然后如果对表做字段变更的时候,就需要对20000张表做变更。这太疯狂了。所以想请教一下大神,我这样的情况该怎么处理呢

0

8个回答

尝试搭建一个10台机器的hadoop集群直接将数据放到hive里面。

1

想不到什么好办法,就是调节表的数量和表中记录的数量,使其达到一个比较好的情况,比如mysql的瓶颈可能在100万,那就保证每个表最多放100万,然后根据这个数值见新表

0

这么多数据量只能分库分表方式处理 然后就是表设计的时候尽量注意扩展性。减少将来表发生修改

0

做分区表,按照日期,每天一张表。一张表1440万记录再考虑做优化查询。

0

综合上面的考虑就好:
1、根据需要,按照时间分区,小时或者天; 不要按照仪器分区,

2、使用NOSQL,数据放到HIVE里面处理。 使用定时器按需处理一定数据放到MYSQL用于业务处理。

0

按照你现在的情况来分析,大概想到以下几点吧:
1、管理工具尝试navicat看速度相比会不会好点;
2、按规则分库;
3、按规则分表;
4、查询:按规则查询指定设备的数据;写入、统一查询使用数据库中间件,如MyCat(可以定义mycat 分库分表规则,读写分离,主从热备);
5、集群部属自动化脚本/工具,对表做字段变更的话定制自动化变更同步脚本/工具;这个按理应该已经有人做了,搜索看看有没有类似的开源项目;

0

分库,根据数据进行分类,然后根据情况进行存取。

0

按时间分库是很好的选择。还可以试试看数据能不能优化和合并。最后就是换更好的服务器。

0
Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!
其他相关推荐
如何维护大数据量的表
一个会员在网站上的动作,会有消息发给和该动作相关的人员;比如说:他评论的一篇文章,那么在系统会发一个消息给文章的主人;再比如说:他加了一些人为好友,系统会给他加好友的人每人发条消息rnrn这个表每个月会增加30W条记录,以后可能会更多,怎么维护这张表
mysql大数据量和InnoDB独立表空间存储的问题
各位亲们,rn 本人刚入手Mysql,版本是5.0.95,有个问题请教一下熟悉的朋友,mysql查询500万条记录的表,表存储使用InnoDB的独享表空间方式,如果相关的查询字段都有索引的话,查询速度大致需要多长时间?速度是否可以忍受?说明一下,表的字段都是int,char等简单类型,大致有20个左右字段。rn另外,InnoDB 独立表空间方式,一个表的文件达到多大性能会受比较大的影响?
大数据量存储问题!
我现在用四维数组存储,比如m[3600][29][][3][50]。但是程序运行起来占内存很大,有时还会出错。请问有什么办法解决?谢谢!!
请教大数据量XML存储
我在把100000条数据写到XML文件中时就报了内存溢出错误(sax)。rn请教只写一个文件的解决方法。rnrn先谢了!!!
数据库大数据量存储
本软件介绍了数据库大数据量存储的整个过程!<br>仅供参考!
大数据量的字段怎样存储
我将整一个html页面存到数据库里。。rn数据库里的字段是ntext。rn但用存储过程的时候,他自动的截取了字符串。。。rn我有什么办法才能完整的将整个文本保留下来呢?
android sqlite3大数据量存储
楼主google了半天没有发现解决方案,只能来发帖求大神看看rn楼主所在项目弄了个app需要写入大量数据,表也比较多。android采用的sqlite3数据库。rn现在有两个问题1.数据库文件容易损坏 2.大数据量查询容易引发ANR界面无响应,连使用系统sharedpreference的界面操作也出现无响应。rn目前数据库的db文件存储在/data/data目录下。跪求大神给点建议。[img=https://forum.csdn.net/PointForum/ui/scripts/csdn/Plugin/001/face/35.gif][/img]rn附上一天数据量的截图:rn[img=https://img-bbs.csdn.net/upload/201501/06/1420510392_837225.png][/img]rn
怎么实现大数据量文件的快速存储??
我现在在做一个基于UDP的客户端和服务端的程序,现在客户端和服务端的发送和接收都没问题,问题是服务端接收到了数据却来不及存储了,我用的是千兆网卡,现在传输速度能到500M字节,接收端界面显示是已接收到这么多数据了,可存储的文件却丢失了很多数据,如果要达到完整的存储效果,传输速度只能到120M字节左右,望各位大侠介绍下方法!!!
【MYSQL】mysql大数据量分页性能优化
转载地址: http://www.cnblogs.com/lpfuture/p/5772055.html https://www.cnblogs.com/shiwenhu/p/5757250.html P1 1.   直接用limit start, count分页语句, 也是我程序中用的方法: select * from product limit start, count 当起始页较小...
mysql 大访问量 大数据量,怎么解决呀?
请问,有近50W条数据的数据库(mysql)rn怎么优化查询速度呀? rnrn还要能支持1000人同时访问哦。 rnrn提段时间认识奇网的一个朋友,听说他们做到了,好像是用了别的软件。不过怎么实现的有谁知道吗? rn
高分求救,大数据量的存储问题
我现在遇到一个很棘手的问题,我的系统里把所有的word文件都存储在数据库中,每个word文件rn大小在1M-10M之间,我发现当一个表里存储的数据达到5G以后,系统执行特别慢,特别是添加、修改、删除操作更始很慢,很多情况下都报连接超时,请问,有没有很好的办法解决这个问题?rnrn  SQL Server每个表有没有存储最大多少G数据的限制,急急!!!!!!!!!!!!!!
Oracle大数据量存储,如何解决
跪求解决方案,论文要跪了。rn论文使用dubbo框架,在持久层使用Mybatis,数据选用Oracle,论文设计的系统涉及到实验室传感器数据的大数据量存储,时间久了,数据量越来很多,数据库就很难支撑,并且数据查询效率也很低。也许可以利用mybatis多配几个相同的数据库,动态存储数据,但是,怎么能知道哪个数据放到哪个表中呢。有没有比较合理的处理方法,从而保证我的数据存储还算合理,读数据的时候也容易找到。rn快毕不了业了,求解决方法,最好是能和spring,mybatis结合起来操作。跪谢啦!
大数据量_高效存储_新技术探析
面对数据量的急剧暴涨,企业需要不断购置大量的存储设备来应对不断增长的存储需求;大量的异构物理存储资源大大增加了存储 管理的复杂性 、成本和能耗,造成存储资源浪费。最新的“高效存储”理念旨在缓解存储系统的空间增长问题、缩减数据占用空间、简化存储管理、 最大程度地利用已有资源,降低成本和能耗。
这个存储该怎么写?
create procedure tjrn@m_yue varchar(10)rnbeginrninsert table(kh,zh,name,@m_yue) rnselect kh,zh,name,zh*zjrnfrom tablernendrnrn执行报@m_yue有错误,如果不能用变量,那该怎么写哦
内存映射文件实现大数据量快速存储
利用内存映射文件技术实现大数据量快速存储
基于SQlServer大数据量存储的看法
需求是车辆网中GPS终端实时上传数据,数据级别每天百万级常规,每年大概就是千万级的数据。 有两种方式:一种Nosql,本身单表存储无上限,pb级的,完全够用; 一种就是分表,我们是根据月份进行分表,每年开始可以手动创建十二个数据表,也可以自动创建,创建的表要有一定的规律,可以进行方便的管理;当然也可以通过作业将当月的数据转移到新表中,这个新表我们可以按照一定的规则自动生成即可,这样当月的表一直正常...
Silverlight关于大数据量存储问题?
数据库中有一个字段放超大的文本内容,SL能通过WCF从数据库中读取并显示出来,但想要更新这个超大的文本时就会报maximum string length quota (8192) has been exceededrn请问我应该修改SL的webconfig还是WCF的config,怎么修改啊??rnrn所有方法都试了还是不能保存,只能读取!
qt 存储大数据量数据问题
用qt打开一个目录,目录中有很多文件,先需要把目录中的所有文件名和路径存储起来,用QMap存储的话应该有数据量的限制,该如何存储rn把这些文件属性信息解析出来存储到QList的话应该也有数据量的限制,这又该如何存储
mysql 大数据量查询优化
请教大神,关于mysql优化的,目前有三个字段, host(varchar2), sip(varchar2),request(text),这三个字段是用 or 来模糊查询的,这表也经常更新,目前数据500多万, 查询有点慢,怎么优化呀n
mysql大数据量导入笔记
  今天处理几十万的数据运算,导入.   注意点: 1.注意基础表中,重复的数据. 2.确定索引已经建立.   如何清洗数据呢?   比如 nick重复. create table temp_xx as select * from xx group by nick; drop table xx; crate table xx as select * from temp_xx...
mysql大数据量问题
我做了一个项目,用的是mysql。数据量比较大,开始有200万,后来我觉得太大了,就把他们分类存放到十个表中,所以每个表也就20万数据,而且该建的索引我也建了。rnrn可是还是有问题,用户那边因为录入资料的人员比较多,所以老是有查询/增/删/改的操作,于是数据库的连接总是逐渐变多,我检查过几编我的程序(Java),确实把连接都释放了,我现在怀疑mysql在同时有两个连接查询一个表的时候会把这个表查死,但是文档里面说会wait,我也搞不清楚了,大家给点建议。
大数据量导入mysql
现在有27W条数据.在TXT文件里,用","分割,如何导入mysql5.5?rn大神速救~
MySQL 大数据量文本插入
导入几万条数据需要等好几分钟的朋友来围观一下! 百万条数据插入,只在一瞬间。呵呵夸张,夸张!! 不到半分钟是真的!   插入指令: load data infile 'c:/wamp/tmp/Data_OutFile.csv' replace into table data_1 character set utf8 fields terminated by ',' enclos
急,mysql大数据量性能优化
linux操作系统,2G内存,mysql数据库,每天数据量达到1000万(插入),恳求各位高手给出优化方案
mysql 大数据量高效分页查询
像select * from user where xx=1 limit 10,10这样的查询在大数据量下查询比较低效,请问有没有高效的方法呢?rn最好说明一下原理,谢谢哈!(ps:只是用简单的数据库查询不用存储过程的)
MYSQL insert大数据量的问题
请问C#程序里面插入比较多数据(500条记录)的时候提示如下错误:MySQLDriverCS Exception: MySQLDriverCS Error: can't connect.Can't connect to MySQL server on 'xxxx.xxxx.xxx.xx' (10048)rnrn该如何排查?
mysql大数据量分页查询优化技巧
PS:我们知道mysql使用Limit实现了分页查询,在我们平常的Web开发中常用一些通用的分页查询jar包,比如说有名的中国开发者实现的java Pagehelper(Github地址https://github.com/pagehelper/Mybatis-PageHelper),但是呢只考虑了应用开发中的方便性,没有考虑数据库的性能,用户体验对于互联网时代是非常重要的,应用服务器相应的性能更
插入大数据量方法-MySQL
背景 有一个4千万行的4列字段文件data.txt要插入数据库,假设表名为table_name,字段分别为A,B,C,D,其中每行唯一标识为A+B,文件里面有重复数据(根据A+B确定),需要保留行数大的记录。 解决方案 方案一: 1、表结构设计:设置A,B为联合主键; 2、逐行读取文件,插入前根据A+B判断是否有重复,有则更新,没有则插入。 方案二: 1、表结构设计:先不设置A,B为...
求mysql大数据量的解决方案
有这么一种场景,燃气表,每分钟会采集一条数据进数据库,有数以万计的表,一年的数据量有1T左右,如果单台服务器,一年还可以,3、5年就不能胜任了,无论是磁盘空间还是读写压力,这时候,如何来做扩容?有没有什么牛B的方案,直接增加几台服务器,能线性的提示性能?同时空间也线性增长?
mysql大数据量的处理方式
mysql处理几亿条数据的效率怎么样?rn我想用分布式存储实现几个库的连接可以实现吗?
有没有解决存储大数据量的好办法
目前我要用notes做个文档管理系统,需存储大量的电子文档,正在写方案,不知大伙儿有没什么好的解决办法?
mysql大数据量优化
mysql数据优化详介绍:使用连接来代替子查询,使用联合来代替手动创建临时表,事物,使用外键等等
mysql大数据量处理,求助
mysql大数据量处理,求助rnrnrn从3张表中取数据,求一个更好的sql语句rn表1:rnCREATE TABLE `CorporationServer` (rn `corporationServerID` int(11) NOT NULL AUTO_INCREMENT,rn `corporationKey` int(11) NOT NULL,rn `shelfCode` varchar(24) DEFAULT NULL,rn `floorCode` varchar(24) DEFAULT NULL,rn `ip` int(10) unsigned NOT NULL,rn `isWhite` tinyint(1) DEFAULT '0',rn PRIMARY KEY (`corporationServerID`),rn UNIQUE KEY `AK_Key_2` (`ip`),rn KEY `R_31` (`corporationKey`)rn) ENGINE=MyISAM AUTO_INCREMENT=65537 DEFAULT CHARSET=utf8;rnrn表2:rnCREATE TABLE `IpCapture` (rn `ipCaptureID` int(11) NOT NULL AUTO_INCREMENT,rn `ip` int(10) unsigned NOT NULL,rn `serviceType` varchar(128) DEFAULT NULL,rn `proxyType` smallint(6) DEFAULT NULL ,rn `sectScope` tinyint(1) DEFAULT '0',rn PRIMARY KEY (`ipCaptureID`),rn UNIQUE KEY `AK_Key_2` (`ip`)rn) ENGINE=MyISAM AUTO_INCREMENT=65618 DEFAULT CHARSET=utf8 ;rnrn表(分区)3:#这里是一天个分区,每天的数据最小量限为300W算rnrncreate table HttpGetLogPart2rn(rn httpGetLogID bigint(12) not null auto_increment,rn dstIp int unsigned not null,rn dstPort NUMERIC(5) not null,rn srcIp int unsigned not null,rn srcPort SMALLINT not null,rn domainName VARCHAR(64) not null,rn visitTime TIMESTAMP not null default CURRENT_TIMESTAMP,rn urlHashcode bigint,rn getUrl text,rn vlanID INTEGER default -1,rn probeIp VARCHAR(16) not null,rn inputDate date default null,rn primary key (httpGetLogID, inputDate)rn) engine=myisam rn PARTITION BY list (to_days(inputDate)) (rn PARTITION p0 VALUES in (to_days('2008-07-05')), rn PARTITION p1 VALUES in (to_days('2008-07-06')), rn PARTITION p2 VALUES in (to_days('2008-07-07')), rn PARTITION p3 VALUES in (to_days('2008-07-08')),rn PARTITION p4 VALUES in (to_days('2008-07-09'))); rnrncreate index Index_dstip on HttpGetLogPart2rn(rn dstIprn); rnrnrn表HttpGetLogPart2: 16711680条记录;rn表IpCapture:65617条记录;rn表CorporationServer:65536条记录rnrn查询语句:rnselect * from HttpGetLogPart2 log,IpCapture ipcapture ,CorporationServerrncorporationServerrnwhere(rnlog.inputDate> date '2008-07-06' and log.inputDate date '2008-07-06' and log.inputDate
mysql维护
[b]mysql表占用空间查询[/b] [code=&quot;java&quot;] mysql&gt; use information_schema; Database changed 2、查询所有数据的大小 mysql&gt; select concat(round(sum(DATA_LENGTH/1024/1024), 2), 'MB') -&gt; as data from TABLES; +-...
大数据量更新问题 mysql
问题描述:需要从一个网站采集数据,可以满足高并发的接口。rn现在大概需要发送10000条请求,获取到的xml文件解析后插入数据库,每个xml文件大致有40条数据。rnrn现在解决方式:rnjdbc+数据库连接池 20个并发连接rn用100个线程发送请求rnrn问题:rn一开始效率比较高,更新到一半左右的时候更新速度变得很慢。rn
mysql 大数据量问题
现在有一个表的数据量已经达到了近3000万,查询的速度很慢,最快也得10秒的时间,现在程序和SQL语句是没有办法进行优化了。请问一下大家向这样的数据量是不是大部分情况用存储过程来实现数据的查询呀,而且这个查询很频繁。我本地查询大概多得10几秒的时间。放到外网上速度更慢,因为现在服务器的内存才4G。rnrn表结构如下:rnID,GSM(公司名称),TEL(电话),ADDRESS(地址),RUNMODEL(行业),zczj(注册资金)rnrn还有一就是排序的问题,现在除了ID和公司名称不为空以外,其它的字段有可能会为空,我想问问大家怎么实现把为空的字段放在返回记录的最后面。排列顺序:电话 地址 行业 资金rnrn实现以上排序oracle中可以使用下面语句来实现:select * from emp order by comm nulls last,sal nulls last;现在就想问问在mysql中怎么实现?先谢了...
华为存储维护指南
如何调试华为存储设备,安装
NetAPP存储维护手册
精确把握NetApp存储的知识体系,让你真正可以开始的去理解NetApp存储与其他存储的不同之处,并知道如何配置,维护。
存储维护管理
关于存储方面的维护管理,lun不在默认路径下的解决方法和注意事项
存储维护文档
z阵列虚拟存储池、逻辑卷、私有卷、录像卷的配置后做cvr配置就可以完成视频直写