历史数据分表存储及查询 5C

请问各位大神,在(Spring+SpringMVC+MyBatis+MySQL)系统中,单表数据量越来越大,如何处理历史数据?分表?什么时候分合适?分表后如何多表关联查询?是预先设定多个表存储合适还是根据数据量动态创建表好?

2个回答

1.统计某个时间点之前的数据访问频率,如果其远远小于这个时间点之后的数据,可以设置此时间点为截断时间点。这个时间点的设定可以是来自于
业务制定,也可以是数据统计,但就是不可以主观认定
2.统计单表数据在某个时间单位上增长量,连带业务活动一起考虑未来数据增长量。保证每次分表可以维持足够长的时间不用再次分表
3.测试单表访问瓶颈,看看什么数量级上的查询会出现时间大幅度升高,保证在达到这个数量级之前分表
4.对于数据量高速增长的表,一天可以接近查询效率瓶颈的,按天分,可以采用动态创建分表;同理周和月的分表

Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!
其他相关推荐
分表之后如何查询所有数据
分表之后![图片说明](https://img-ask.csdn.net/upload/201805/10/1525922232_765892.png) 怎么写能查询所有数据,按时间排序。
MYSQL垂直分表后如何查询
Mysql由于列数较大,想进行垂直分表。但是分表之后的查询应该如何完成?为分表之前只要一条where 条件语句就可以,分表之后如果条件中的字段分别在两个表中如何进行查询
mysql分表后的查询方案
例如,现在有一张表city,按照城市编码进行分表city_*,那么我在查询时候一般要先获取要查询的分表编码,然后根据city_*进行查询,能不能直接根据city查询,在配置之类的解析具体使用哪张分表的方案呢,数据库使用mysql存储引擎使用innodb,请教各位大神, 补充一下问题:之前有点没说清楚,是想在程序里进行查询一些操作时直接调用city表想用中间间或是配置自动解析对应的city_*,最终执行语句是city_*
Atlas分表之后如何查询全部数据
我根据Atlas分了三个表t_comment_0,t_comment_1,t_comment_2, 所包含的字段(id,value),是已id分表的,数据如下:![图片说明](https://img-ask.csdn.net/upload/201605/28/1464418066_138926.png) 我查询id=2可以查询: mysql> select * from t_comment where id = '2' ; +----+-------+ | id | value | +----+-------+ | 2 | bb | +----+-------+ 1 row in set (0.00 sec) 但是我想查value='bb' ,就提示表不存在了: mysql> select * from t_comment where value = 'bb' ; ERROR 1146 (42S02): Table 'lkltest.t_comment' doesn't exist; 这该怎么查询呢?求高人指点,不会是必须指定表名吧: select * from t_comment_0 where value = 'bb' 吧,这样也太不智能了吧,表名是动态的啊
JPA 中如何实现数据库分表查询??
据说,这个问题没有答案。。。。。大家都建议我使用JDBC或者ibatis来实现。。我尝试一下,有没有高人出没。。 业务需求是这样: 假如有个论坛,用户表需要做分表处理,即把注册的新用户,根据ID规则,存储在USER_01,USER_02两个表中(如果id是偶数,就把用户存在user_02中,奇数就存在user_01中)。 问题 一)对应的JPA Entity 肯定只能有一个,即 @Entity @Table(name="?????")---------------------------------(1) public Class User {....} 首先,我在(1)处就不知道如何设定table的名字。。。 二)JPQL查询 假如现在我知道了用户的ID为偶数,需要在USER_02表中去查询用户数据 那么我的JPQL语句如何写?? "select u from User ......"???-----------------jpql "select * from USER_02 ....."???---------------native sql 此时发现JPA很不靠谱。。。 有没有高人出没??愿高分跪谢。。
数据库大表是分库,分区,还是分表?
数据库大表是分库,分区,还是分表?数据库大表是分库,分区,还是分表?数据库大表是分库,分区,还是分表?
MongoDB大数据下是否需要分表
目前公司使用MongoDB存储业务数据,每天产生2000万条左右,数据保存90天, 这样单独一张表会存在20亿左右数据。 为保证数据操作(增、删、改、查)的效率,是否需要对表进行分表? 一段时间生成一张新表,以时间戳为后缀,这样是否可以提高效率,或者有其他方案?
讨论下blog数据表分表的方法
有一张blog数据表,数据很多的话需要分表。 <br />blog表的字段: <br />blog_id, user_id, content, created_at <br /> <br />如果按照blog_id来分表,访问某一个用户的所有blog,就要在N张blog表里查询。 <br />如果按照user_id来分表,访问某一篇blog要查询N张blog表。 <br /> <br />是否有更好的分表方法,能解决上面的问题呢?
关于数据库分表后的 业务逻辑应该是怎么样,求解答!
数据库有一张表 数据太多 导致查询非常慢,分表后 业务逻辑是怎样的: ## 假如把一张表分成三张表,那么在项目里面写查询的时候是要连续查三张表么?
分表分库后如何进行批量查询
请问:mysql分表分库后如何进行批量查询 假如:我把一个read表分为二个数据库,30个表, 单独查询一条数据没任何问题,但是如果批量数据,,就需要同时连接二个数据库和30个表,其速度可想而知会很慢的.. 参考答案给出的是:启几个线程并行来查,最后把结果集合并,我想每个人都知道,最关键是结果集怎么合并 ? 假定你查询的数据量有1万条并且要求按时间排序显示,难道你要每条都比较?如果这样的话,不用比较,单数据放到内存就受不了。 如果再要求按时间分页排序显示呢?肯定更麻烦,怎么准确按时间分页呢? 我想请问你:实际项目中,你对分表分库批量查询 是怎样做得?或者有什么心得? 期待你的帮助
如果用的是mysql数据库,单表数据量大概到多少条记录量的时候,才需要考虑分库分表?
如果用的是mysql数据库,单表数据量大概到多少条记录量的时候,才需要考虑分库分表? 我们是传统的软件公司,做解决方案的,之前一直用oracle数据库,最近项目改用mysql数据库。 不知道mysql数据库性能如何,请问 mysql数据库,单表数据量大概到多少条记录量的时候,才需要考虑分库分表? mysql数据库单表的数据量上限是多少?
公司遇到一个需求,数据库账户分表之后,是用long id来寻找表的
请教下各位同学们:公司遇到一个需求,数据库账户分表之后,是用long id来寻找表的,现在需要用手机号码查询需要怎么做才能寻找到表呢?
java sql jdbc 数据库分表存放数据问题
按月份分表,将接收到的消息(含有time属性)批量保存到对应月份表中,time时间是无序的,有可能含有上个月信息,这样就需要存放到上月表中 问,sql该如何写,PreparedStatement能否实现
一个关于用户、动态、评论的分库分表方案?
1、现在有一个用户表、一个动态表、一个评论表,其中用户--动态 是 1-N,用户 -- 评论 是 1-N,动态 -- 评论 是 1-N。 即一个用户可以发多条动态,一个用户也可以发多条评论,一条动态下面会有很多评论。 现在由于数据量大,需要进行分库分表,分库分表方案需满足如下要求: * 能很快按评论时间倒序分页查出一条动态的评论; * 一个用户能很快按发布时间倒序分页查出自己发布的动态; * 一个用户能很快按评论时间倒序分页查出自己发的评论; 请问有什么好的分库分表方案? 比如按用户ID哈希取模,还是按用户ID大小分段,还是其他的什么组合?有没有现成的一些好的方案? _现在C币不足,若有好答案,必定充值重谢!!!_
MySQL查询语句表名设置变量?
我现在有一个项目,数据库里做了分表储存数据,每天各是一张表,表除了表名的后缀不一样,其他的都是一样的,表名后缀就是1到31,现在我要做的查询就查询每天对应的数据,嗯,在Java程序上实现,现在怎么去书写SQL语句?跪求各位大佬!
数据库分表取模问题???
如我要分2个表,然后通过id%2取余,这样肯定表下表是0或1。我要问的问题是: 我扩展表个数,扩展为2的n次方,如4. 那么之前id%2=0的会落在0或2上,之前 id%2=1的会落在1或3上,这样的规律如何证明。或者说是否存在这样的规律。
关于分库分表,做分页功能的疑问
当系统数量大时,会进行分库分表。此时对于分页该如何实现呢?比如商品评论表,假如分了8个表,要展示评论列表时,如何做分页了呢?
类似于csdn这样的博客系统,应该怎样分表
现在要做一个博客系统,考虑到以后的压力,相对其进行分表,主要是对博客表进行分。那么大家有什么好的建议呢?开始像根据userId进行hash,但在首页聚合数据的时候麻烦啊。按时间进行分表,可是在分页查询的时候有比较麻烦,尤其是在两个表的临界点的时候。大家有什么好的想法吗
130 个相见恨晚的超实用网站,一次性分享出来
相见恨晚的超实用网站 持续更新中。。。
字节跳动视频编解码面经
三四月份投了字节跳动的实习(图形图像岗位),然后hr打电话过来问了一下会不会opengl,c++,shador,当时只会一点c++,其他两个都不会,也就直接被拒了。 七月初内推了字节跳动的提前批,因为内推没有具体的岗位,hr又打电话问要不要考虑一下图形图像岗,我说实习投过这个岗位不合适,不会opengl和shador,然后hr就说秋招更看重基础。我当时想着能进去就不错了,管他哪个岗呢,就同意了面试...
win10系统安装教程(U盘PE+UEFI安装)
一、准备工作 u盘,电脑一台,win10原版镜像(msdn官网) 二、下载wepe工具箱 极力推荐微pe(微pe官方下载) 下载64位的win10 pe,使用工具箱制作启动U盘打开软件, 选择安装到U盘(按照操作无需更改) 三、重启进入pe系统 1、关机后,将U盘插入电脑 2、按下电源后,按住F12进入启动项选择(技嘉主板是F12) 选择需要启...
程序员必须掌握的核心算法有哪些?
由于我之前一直强调数据结构以及算法学习的重要性,所以就有一些读者经常问我,数据结构与算法应该要学习到哪个程度呢?,说实话,这个问题我不知道要怎么回答你,主要取决于你想学习到哪些程度,不过针对这个问题,我稍微总结一下我学过的算法知识点,以及我觉得值得学习的算法。这些算法与数据结构的学习大多数是零散的,并没有一本把他们全部覆盖的书籍。下面是我觉得值得学习的一些算法以及数据结构,当然,我也会整理一些看过...
Python——画一棵漂亮的樱花树(不同种樱花+玫瑰+圣诞树喔)
最近翻到一篇知乎,上面有不少用Python(大多是turtle库)绘制的树图,感觉很漂亮,我整理了一下,挑了一些我觉得不错的代码分享给大家(这些我都测试过,确实可以生成) one 樱花树 动态生成樱花 效果图(这个是动态的): 实现代码 import turtle as T import random import time # 画樱花的躯干(60,t) def Tree(branch, ...
大学四年自学走来,这些私藏的实用工具/学习网站我贡献出来了
大学四年,看课本是不可能一直看课本的了,对于学习,特别是自学,善于搜索网上的一些资源来辅助,还是非常有必要的,下面我就把这几年私藏的各种资源,网站贡献出来给你们。主要有:电子书搜索、实用工具、在线视频学习网站、非视频学习网站、软件下载、面试/求职必备网站。 注意:文中提到的所有资源,文末我都给你整理好了,你们只管拿去,如果觉得不错,转发、分享就是最大的支持了。 一、电子书搜索 对于大部分程序员...
《奇巧淫技》系列-python!!每天早上八点自动发送天气预报邮件到QQ邮箱
将代码部署服务器,每日早上定时获取到天气数据,并发送到邮箱。 也可以说是一个小人工智障。 思路可以运用在不同地方,主要介绍的是思路。
致 Python 初学者
欢迎来到“Python进阶”专栏!来到这里的每一位同学,应该大致上学习了很多 Python 的基础知识,正在努力成长的过程中。在此期间,一定遇到了很多的困惑,对未来的学习方向感到迷茫。我非常理解你们所面临的处境。我从2007年开始接触 python 这门编程语言,从2009年开始单一使用 python 应对所有的开发工作,直至今天。回顾自己的学习过程,也曾经遇到过无数的困难,也曾经迷茫过、困惑过。开办这个专栏,正是为了帮助像我当年一样困惑的 Python 初学者走出困境、快速成长。希望我的经验能真正帮到你
Java描述设计模式(19):模板方法模式
本文源码:GitHub·点这里 || GitEE·点这里 一、生活场景 通常一款互联网应用的开发流程如下:业务需求,规划产品,程序开发,测试交付。现在基于模板方法模式进行该过程描述。 public class C01_InScene { public static void main(String[] args) { DevelopApp developApp = n...
加快推动区块链技术和产业创新发展,2019可信区块链峰会在京召开
11月8日,由中国信息通信研究院、中国通信标准化协会、中国互联网协会、可信区块链推进计划联合主办,科技行者协办的2019可信区块链峰会将在北京悠唐皇冠假日酒店开幕。   区块链技术被认为是继蒸汽机、电力、互联网之后,下一代颠覆性的核心技术。如果说蒸汽机释放了人类的生产力,电力解决了人类基本的生活需求,互联网彻底改变了信息传递的方式,区块链作为构造信任的技术有重要的价值。   1...
C语言魔塔游戏
很早就很想写这个,今天终于写完了。 游戏截图: 编译环境: VS2017 游戏需要一些图片,如果有想要的或者对游戏有什么看法的可以加我的QQ 2985486630 讨论,如果暂时没有回应,可以在博客下方留言,到时候我会看到。 下面我来介绍一下游戏的主要功能和实现方式 首先是玩家的定义,使用结构体,这个名字是可以自己改变的 struct gamerole { char n...
第三个java程序(表白小卡片)
前言: &nbsp;向女神表白啦,作为一个程序员,当然也有爱情啦。只不过,虽然前面两个程序都只是学习了基础的语法结构和向量哈希表。这里涉及的是Swing,awt图形用户界面和一点文件输入输出流的知识。 &nbsp; 表白代码如下: 另附:里面的音乐和图片可以放在一个自己创建的包里面,也可以放在src里面,或者使用绝对路径。至于布局,我自己的使用的是简单的排班,简单的继承。后面的程序会慢慢实现。 ...
8年经验面试官详解 Java 面试秘诀
作者 |胡书敏 责编 | 刘静 出品 | CSDN(ID:CSDNnews) 本人目前在一家知名外企担任架构师,而且最近八年来,在多家外企和互联网公司担任Java技术面试官,前后累计面试了有两三百位候选人。在本文里,就将结合本人的面试经验,针对Java初学者、Java初级开发和Java开发,给出若干准备简历和准备面试的建议。 Java程序员准备和投递简历的实...
知乎高赞:中国有什么拿得出手的开源软件产品?(整理自本人原创回答)
知乎高赞:中国有什么拿得出手的开源软件产品? 在知乎上,有个问题问“中国有什么拿得出手的开源软件产品(在 GitHub 等社区受欢迎度较好的)?” 事实上,还不少呢~ 本人于2019.7.6进行了较为全面的回答,对这些受欢迎的 Github 开源项目分类整理如下: 分布式计算、云平台相关工具类 1.SkyWalking,作者吴晟、刘浩杨 等等 仓库地址: apache/skywalking 更...
化繁为简 - 腾讯计费高一致TDXA的实践之路
导语:腾讯计费是孵化于支撑腾讯内部业务千亿级营收的互联网计费平台,在如此庞大的业务体量下,腾讯计费要支撑业务的快速增长,同时还要保证每笔交易不错账。采用最终一致性或离线补...
Linux网络服务-----实验---PXE和Kickstart的无人值守装机
目录 一.PXE的原理 二.kickstart的原理 三.PXE与kickstart的结合使用自动装机 一.PXE的原理 PXE(preboot execute environment,预启动执行环境)是由Intel公司开发的最新技术,工作于Client/Server的网络模式,支持工作站通过网络从远端服务器下载映像,并由支持通过网络启动操作系统,再启动过程中,终端要求服务器分配IP地址...
究竟你适不适合买Mac?
我清晰的记得,刚买的macbook pro回到家,开机后第一件事情,就是上了淘宝网,花了500元钱,找了一个上门维修电脑的师傅,上门给我装了一个windows系统。。。。。。 表砍我。。。 当时买mac的初衷,只是想要个固态硬盘的笔记本,用来运行一些复杂的扑克软件。而看了当时所有的SSD笔记本后,最终决定,还是买个好(xiong)看(da)的。 已经有好几个朋友问我mba怎么样了,所以今天尽量客观...
A*搜索算法概述
编者按:本文作者奇舞团前端开发工程师魏川凯。A*搜索算法(A-star search algorithm)是一种常见且应用广泛的图搜索和寻径算法。A*搜索算法是通过使用启...
程序员写了一个新手都写不出的低级bug,被骂惨了。
这种新手都不会范的错,居然被一个工作好几年的小伙子写出来,差点被当场开除了。
Java工作4年来应聘要16K最后没要,细节如下。。。
前奏: 今天2B哥和大家分享一位前几天面试的一位应聘者,工作4年26岁,统招本科。 以下就是他的简历和面试情况。 基本情况: 专业技能: 1、&nbsp;熟悉Sping了解SpringMVC、SpringBoot、Mybatis等框架、了解SpringCloud微服务 2、&nbsp;熟悉常用项目管理工具:SVN、GIT、MAVEN、Jenkins 3、&nbsp;熟悉Nginx、tomca...
2020年,冯唐49岁:我给20、30岁IT职场年轻人的建议
点击“技术领导力”关注∆每天早上8:30推送 作者|Mr.K 编辑| Emma 来源|技术领导力(ID:jishulingdaoli) 前天的推文《冯唐:职场人35岁以后,方法论比经验重要》,收到了不少读者的反馈,觉得挺受启发。其实,冯唐写了不少关于职场方面的文章,都挺不错的。可惜大家只记住了“春风十里不如你”、“如何避免成为油腻腻的中年人”等不那么正经的文章。 本文整理了冯...
从顶级黑客到上市公司老板
一看标题,很多老读者就知道我在写什么了。今天Ucloud成功上市,季昕华成为我所熟悉的朋友里又双叒叕一个成功上市的案例。我们认识大概是十五年多吧,如果没记错,第一次见面应该是2004年,...
蓝桥杯知识点汇总:基础知识和常用算法
文章目录基础语法部分:算法竞赛常用API:算法部分数据结构部分 此系列包含蓝桥杯绝大部分所考察的知识点,以及真题题解~ 基础语法部分: 备战蓝桥杯java(一):一般输入输出 和 快速输入输(BufferedReader&amp;BufferedWrite) 备战蓝桥杯java(二):java编程规范和常用数据类型 备战蓝桥杯java(三):常用功能符以及循环结构和分支结构 备战蓝桥杯java(四...
作为一个程序员,CPU的这些硬核知识你必须会!
CPU对每个程序员来说,是个既熟悉又陌生的东西? 如果你只知道CPU是中央处理器的话,那可能对你并没有什么用,那么作为程序员的我们,必须要搞懂的就是CPU这家伙是如何运行的,尤其要搞懂它里面的寄存器是怎么一回事,因为这将让你从底层明白程序的运行机制。 随我一起,来好好认识下CPU这货吧 把CPU掰开来看 对于CPU来说,我们首先就要搞明白它是怎么回事,也就是它的内部构造,当然,CPU那么牛的一个东...
破14亿,Python分析我国存在哪些人口危机!
一、背景 二、爬取数据 三、数据分析 1、总人口 2、男女人口比例 3、人口城镇化 4、人口增长率 5、人口老化(抚养比) 6、各省人口 7、世界人口 四、遇到的问题 遇到的问题 1、数据分页,需要获取从1949-2018年数据,观察到有近20年参数:LAST20,由此推测获取近70年的参数可设置为:LAST70 2、2019年数据没有放上去,可以手动添加上去 3、将数据进行 行列转换 4、列名...
强烈推荐10本程序员在家读的书
很遗憾,这个春节注定是刻骨铭心的,新型冠状病毒让每个人的神经都是紧绷的。那些处在武汉的白衣天使们,尤其值得我们的尊敬。而我们这些窝在家里的程序员,能不外出就不外出,就是对社会做出的最大的贡献。 有些读者私下问我,窝了几天,有点颓丧,能否推荐几本书在家里看看。我花了一天的时间,挑选了 10 本我最喜欢的书,你可以挑选感兴趣的来读一读。读书不仅可以平复恐惧的压力,还可以对未来充满希望,毕竟苦难终将会...
Linux自学篇——linux命令英文全称及解释
man: Manual 意思是手册,可以用这个命令查询其他命令的用法。 pwd:Print working directory 意思是密码。 su:Swith user 切换用户,切换到root用户 cd:Change directory 切换目录 ls:List files 列出目录下的文件 ps:Process Status 进程状态 mkdir:Make directory ...
Python实战:抓肺炎疫情实时数据,画2019-nCoV疫情地图
今天,群里白垩老师问如何用python画武汉肺炎疫情地图。白垩老师是研究海洋生态与地球生物的学者,国家重点实验室成员,于不惑之年学习python,实为我等学习楷模。先前我并没有关注武汉肺炎的具体数据,也没有画过类似的数据分布图。于是就拿了两个小时,专门研究了一下,遂成此文。
疫情数据接口api
返回json示例 { "errcode":0,//0标识接口正常 "data":{ "date":"2020-01-30 07:47:23",//实时更新时间 "diagnosed":7736,//确诊人数 "suspect":12167,//疑是病例人数 "death":170,//死亡人数 "cur...
智力题(程序员面试经典)
NO.1  有20瓶药丸,其中19瓶装有1克/粒的药丸,余下一瓶装有1.1克/粒的药丸。给你一台称重精准的天平,怎么找出比较重的那瓶药丸?天平只能用一次。 解法 有时候,严格的限制条件有可能反倒是解题的线索。在这个问题中,限制条件是天平只能用一次。 因为天平只能用一次,我们也得以知道一个有趣的事实:一次必须同时称很多药丸,其实更准确地说,是必须从19瓶拿出药丸进行称重。否则,如果跳过两瓶或更多瓶药...
疫情防控,开发者集结出战!
作者 | 屠敏出品 | CSDN(ID:CSDNnews)2020 年伊始,病毒肆虐,人心惶惶。截止北京时间 1 月 31 日 15 时 30 分,全国确诊新型冠状病毒肺炎的数字已达到了...
相关热词 c#导入fbx c#中屏蔽键盘某个键 c#正态概率密度 c#和数据库登陆界面设计 c# 高斯消去法 c# codedom c#读取cad文件文本 c# 控制全局鼠标移动 c# temp 目录 bytes初始化 c#
立即提问