关于实时性大批量数据的存储

我是初级开发工程师,现在有个需求,需要存储一些实时监控数据。
目前有5000个监控点,每隔十五秒存储一次监控数据。以后监控点还会增加。
也就是说每隔十五秒至少需要插入5000行数据。
请问我该如何设计数据库,用怎样的框架比较容易处理这样的需求,并且有比较好的性能?

4个回答

集成,分布式了解一下

首先,15秒产生 5000 条数据的插入,这个量并不算大,一般数据库用批量入库的方式都是可以承受的。
其次,你选择什么数据库存储呢?如果是 MySQL 数据库的话,最好设计表时选中 MyISAM 引擎,不要有自增主键,这样几秒内入几万条记录都不是问题。

jfdxz
jfdxz mysql单表数据超过500w查询的时候不是就会吃不消吗?
7 个月之前 回复

15秒存储5000行,这个压力不大啊……服务线程收到数据先缓存,然后做一个后台线程专门管入库……很简单的。

如果单条数据没有很大的字段的话这个量很小了 就算15秒5w都没问题 把所有数据收集到之后利用批处理一次就可以写入数据库 简单的比如jdbc Statement.addbath(insertSql)

Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!
其他相关推荐
android与pc端通过局域网互相发送大量数据,怎样才能降低延迟,保证实时性。
android与pc端通过局域网互相发送大量数据,怎样才能降低延迟,保证实时性。
关于ORACLE数据实时同步的疑虑
在网络上找了很久,一直没有找到关于ORACLE数据库实时同步的可行性方案。 要么说DBLINK,要么STREAM,要么OGG。 而实际上DBLINK不能完美实时,STREAM无法实时,OGG存在大量问题。 业主需求很简单: 有6个ORACLE源库,放不同的数据,需要新建一个中心库,把这6个库的部分表放入中心库。 由于这6个库白天有业务,因此数据会变动,要求任何源库一有变动,中心库数据实时变动,保证数据一致。 我试过Stream的表同步,由于Stream用的是归档日志,在没有归档的时候是无法处理的。怎么才能让Stream,只要变动,Redo日志就变动,归档日志也立即变动? 关键在于!!!实时!!!!
关于实时更新数据库的问题
我想实现一个点赞的功能,记录点赞数量,开始我从APP发送请求到服务器, 服务器连接数据库找到记录点赞数量的表,在取出具体的点赞数值,在+1后存入数据库,但是 我发现有实时性的问题,当10个用户同时点赞后,取得的数值都一样,所以造成了点赞数只加了1,请问有什么好办法解决吗?
qt5是否可以将实时采集的数据存储至sqlserver数据库?
本人最近有个想法,是否可以在qt5将实时采集的数据存储至sqlserver数据库?以便后期对重要数据进行分析。
实时大数据写入数据库
项目:IOCP的多线程(工作线程)解析大量客户端发送过来的数据;这个数据量是非常大的,上千个客户端,每50MS发送一个数据包过来,要把他们写入数据库。以下是我做的两种设计,均不能成功。 1.简单地通过程序一条一条地执行SQL语句写入数据库,失败,效率极低,淘汰。 2.我目前的处理是把这个SQL语句做一个拼接(...+SQL语句+;+SQL 语句+;+...),然后一并执行,写入数据库,但是这么设计的话,内存会一直涨,因为写入数据库的速率小于IOCP解析出来的数据所形成的SQL语句,它是占内存。 需解决的问题如下: 在不做分布式数据库设计的情况,有什么高性能的写数据库的方法, 我是用的数据库是SQL server 2008 ,用VC++ 实现,因为C#的话,微软封装了相应的类。求高手指教
java使用http调用第三方接口,怎么解决实时性,要求实时性非常高?
## # java使用http调用第三方接口,怎么解决实时性,要求实时性非常高? 我现在做一个项目,需要调用别人接口获取数据,在我项目的前台显示,但对实时性非常高, 想要别人那边一改数据,我这边也就改了,最好是每秒调用一次;最好是两边的数据是同步的, 各位大神,帮帮忙吧!!!! 使用的是spring+springmvc+mybatis 调用接口方式是httpclient
如何将 Excel 表格内的数据和内容 映射到 网页上 实现数据的实时同步?
如何将excel的数据 映射到 公司的网页上实现数据的实时同步。 图一excel的数据是货物的发车时刻表,由于发车数据要实时变更,用excel修改方便一些。图二是数据映射到app的样子。 谢谢了 ![图片说明](https://img-ask.csdn.net/upload/201912/17/1576594798_974266.png)![图片说明](https://img-ask.csdn.net/upload/201912/17/1576594826_531360.png)
实时排序的数据存入文件,不使用数据库的话,用什么样的形式保存比较好?
实时排序的数据存入文件,不使用数据库的话,用什么样的形式保存比较好?如果用dat格式的话,代码怎么写呢?
开发Chrome扩展并实现实时扒取web数据并存储至本地
想要开发一个Chrome扩展,实现实时(随着用户的点击行为)扒取web数据(用户浏览的网页的文本信息)并存储至本地。 最初想直接读取用户浏览的历史记录然后用python来爬数据,但是这样面临隐私问题,所以还是能实时扒取比较好。 请问有什么好的实现方式?
关于串口接受数据并实时绘制波形的疑问
想用单片机采集心电数据,并通过串口将数据实时传输给上位机并显示心电波形,用VC++编写界面。 问题1:假设单片机设置采样率为250Hz,串口通信需要时间,1s内通过串口助手接受的数据小于250个,这是不是不能保证数据的实时性呢? 问题2:数据传输间隔比较短,来一个数据就画一次图,波形是不是变化很快?看了网上的例子,通过定时器定时取串口接收的数据并画图,画的数据不是该时刻串口接收数据,而且不是所有串口接收的数据都能画出来,这样是不是就会造成波形失真呢? 求给一下思路,谁有例子可以供参考啊?
Linux下如何应用程序的实时性?
现在正在做一个嵌入式软件,主要是激光雷达数据采集和实时处理,鉴于接口是USB的,所以我选择在ARM平台移植了Linux,在系统级来做,但是貌似实时性不是很强,不知到有什么办法尽量让应用程序跑的快一些?
怎么保证大数据数据源的准确性、实时性?
数据是基础,数据可能来自各种设备系统,怎么能快速准确的收集到同一个平台上?
实时大数据存储及查询分析解决方案
上千辆设备每隔10秒上传一次数据,我要把数据存储起来,然后在基于这些数据进行查询分析, 担心传统的做法后期会有很大的性能问题,请教有做过这方面的经验的高手共享一下思路。
VB中用什么方式可以存储实时增加的数据,并且需要对数据排序,用数据库我试过速度太慢了
VB中用什么方式可以存储实时增加的数据,并且需要对数据排序,用数据库我试过速度太慢了,用dat有办法实现么?
怎么把传感器的数据实时上传到云数据库,并在另一地通过云数据库实时监测?小白一个
怎么把传感器的数据实时上传到云数据库,并在另一地通过云数据库实时监测?小白一个 求教!
请问使用hadooq控件怎么将海量的实时采集数据存储成有序的文件
请问使用hadooq控件怎么将海量的实时采集数据存储成有序的文件,hadooq控件怎么和vb配合起来使用?具体的代码思路是什么呢?
需要实时进行排序的数据怎么存入文件比较好?
需要实时进行排序的数据怎么存入文件比较好?用什么数据结构去存储呢,要求能动态进行更新的?
c# 实时显示数据库中数据
一个数据库,实时有数据传入,怎么把传入的数据实时显示在winform界面上
怎么通过实时数据库自带.NET API访问实时数据库?
怎么通过实时数据库自带.NET API访问实时数据库?这个实时数据库自带的API具体都有什么功能?好像需要安装Aspen提供的库文件,这个库文件又是啥?
Java学习的正确打开方式
在博主认为,对于入门级学习java的最佳学习方法莫过于视频+博客+书籍+总结,前三者博主将淋漓尽致地挥毫于这篇博客文章中,至于总结在于个人,实际上越到后面你会发现学习的最好方式就是阅读参考官方文档其次就是国内的书籍,博客次之,这又是一个层次了,这里暂时不提后面再谈。博主将为各位入门java保驾护航,各位只管冲鸭!!!上天是公平的,只要不辜负时间,时间自然不会辜负你。 何谓学习?博主所理解的学习,它是一个过程,是一个不断累积、不断沉淀、不断总结、善于传达自己的个人见解以及乐于分享的过程。
程序员必须掌握的核心算法有哪些?
由于我之前一直强调数据结构以及算法学习的重要性,所以就有一些读者经常问我,数据结构与算法应该要学习到哪个程度呢?,说实话,这个问题我不知道要怎么回答你,主要取决于你想学习到哪些程度,不过针对这个问题,我稍微总结一下我学过的算法知识点,以及我觉得值得学习的算法。这些算法与数据结构的学习大多数是零散的,并没有一本把他们全部覆盖的书籍。下面是我觉得值得学习的一些算法以及数据结构,当然,我也会整理一些看过...
有哪些让程序员受益终生的建议
从业五年多,辗转两个大厂,出过书,创过业,从技术小白成长为基层管理,联合几个业内大牛回答下这个问题,希望能帮到大家,记得帮我点赞哦。 敲黑板!!!读了这篇文章,你将知道如何才能进大厂,如何实现财务自由,如何在工作中游刃有余,这篇文章很长,但绝对是精品,记得帮我点赞哦!!!! 一腔肺腑之言,能看进去多少,就看你自己了!!! 目录: 在校生篇: 为什么要尽量进大厂? 如何选择语言及方...
大学四年自学走来,这些私藏的实用工具/学习网站我贡献出来了
大学四年,看课本是不可能一直看课本的了,对于学习,特别是自学,善于搜索网上的一些资源来辅助,还是非常有必要的,下面我就把这几年私藏的各种资源,网站贡献出来给你们。主要有:电子书搜索、实用工具、在线视频学习网站、非视频学习网站、软件下载、面试/求职必备网站。 注意:文中提到的所有资源,文末我都给你整理好了,你们只管拿去,如果觉得不错,转发、分享就是最大的支持了。 一、电子书搜索 对于大部分程序员...
linux系列之常用运维命令整理笔录
本博客记录工作中需要的linux运维命令,大学时候开始接触linux,会一些基本操作,可是都没有整理起来,加上是做开发,不做运维,有些命令忘记了,所以现在整理成博客,当然vi,文件操作等就不介绍了,慢慢积累一些其它拓展的命令,博客不定时更新 free -m 其中:m表示兆,也可以用g,注意都要小写 Men:表示物理内存统计 total:表示物理内存总数(total=used+free) use...
比特币原理详解
一、什么是比特币 比特币是一种电子货币,是一种基于密码学的货币,在2008年11月1日由中本聪发表比特币白皮书,文中提出了一种去中心化的电子记账系统,我们平时的电子现金是银行来记账,因为银行的背后是国家信用。去中心化电子记账系统是参与者共同记账。比特币可以防止主权危机、信用风险。其好处不多做赘述,这一层面介绍的文章很多,本文主要从更深层的技术原理角度进行介绍。 二、问题引入 假设现有4个人...
程序员接私活怎样防止做完了不给钱?
首先跟大家说明一点,我们做 IT 类的外包开发,是非标品开发,所以很有可能在开发过程中会有这样那样的需求修改,而这种需求修改很容易造成扯皮,进而影响到费用支付,甚至出现做完了项目收不到钱的情况。 那么,怎么保证自己的薪酬安全呢? 我们在开工前,一定要做好一些证据方面的准备(也就是“讨薪”的理论依据),这其中最重要的就是需求文档和验收标准。一定要让需求方提供这两个文档资料作为开发的基础。之后开发...
网页实现一个简单的音乐播放器(大佬别看。(⊙﹏⊙))
今天闲着无事,就想写点东西。然后听了下歌,就打算写个播放器。 于是乎用h5 audio的加上js简单的播放器完工了。 演示地点演示 html代码如下` music 这个年纪 七月的风 音乐 ` 然后就是css`*{ margin: 0; padding: 0; text-decoration: none; list-...
Python十大装B语法
Python 是一种代表简单思想的语言,其语法相对简单,很容易上手。不过,如果就此小视 Python 语法的精妙和深邃,那就大错特错了。本文精心筛选了最能展现 Python 语法之精妙的十个知识点,并附上详细的实例代码。如能在实战中融会贯通、灵活使用,必将使代码更为精炼、高效,同时也会极大提升代码B格,使之看上去更老练,读起来更优雅。
数据库优化 - SQL优化
以实际SQL入手,带你一步一步走上SQL优化之路!
2019年11月中国大陆编程语言排行榜
2019年11月2日,我统计了某招聘网站,获得有效程序员招聘数据9万条。针对招聘信息,提取编程语言关键字,并统计如下: 编程语言比例 rank pl_ percentage 1 java 33.62% 2 cpp 16.42% 3 c_sharp 12.82% 4 javascript 12.31% 5 python 7.93% 6 go 7.25% 7 p...
通俗易懂地给女朋友讲:线程池的内部原理
餐盘在灯光的照耀下格外晶莹洁白,女朋友拿起红酒杯轻轻地抿了一小口,对我说:“经常听你说线程池,到底线程池到底是个什么原理?”
《奇巧淫技》系列-python!!每天早上八点自动发送天气预报邮件到QQ邮箱
将代码部署服务器,每日早上定时获取到天气数据,并发送到邮箱。 也可以说是一个小型人工智障。 知识可以运用在不同地方,不一定非是天气预报。
经典算法(5)杨辉三角
杨辉三角 是经典算法,这篇博客对它的算法思想进行了讲解,并有完整的代码实现。
英特尔不为人知的 B 面
从 PC 时代至今,众人只知在 CPU、GPU、XPU、制程、工艺等战场中,英特尔在与同行硬件芯片制造商们的竞争中杀出重围,且在不断的成长进化中,成为全球知名的半导体公司。殊不知,在「刚硬」的背后,英特尔「柔性」的软件早已经做到了全方位的支持与支撑,并持续发挥独特的生态价值,推动产业合作共赢。 而对于这一不知人知的 B 面,很多人将其称之为英特尔隐形的翅膀,虽低调,但是影响力却不容小觑。 那么,在...
腾讯算法面试题:64匹马8个跑道需要多少轮才能选出最快的四匹?
昨天,有网友私信我,说去阿里面试,彻底的被打击到了。问了为什么网上大量使用ThreadLocal的源码都会加上private static?他被难住了,因为他从来都没有考虑过这个问题。无独有偶,今天笔者又发现有网友吐槽了一道腾讯的面试题,我们一起来看看。 腾讯算法面试题:64匹马8个跑道需要多少轮才能选出最快的四匹? 在互联网职场论坛,一名程序员发帖求助到。二面腾讯,其中一个算法题:64匹...
面试官:你连RESTful都不知道我怎么敢要你?
干货,2019 RESTful最贱实践
为啥国人偏爱Mybatis,而老外喜欢Hibernate/JPA呢?
关于SQL和ORM的争论,永远都不会终止,我也一直在思考这个问题。昨天又跟群里的小伙伴进行了一番讨论,感触还是有一些,于是就有了今天这篇文。 声明:本文不会下关于Mybatis和JPA两个持久层框架哪个更好这样的结论。只是摆事实,讲道理,所以,请各位看官勿喷。 一、事件起因 关于Mybatis和JPA孰优孰劣的问题,争论已经很多年了。一直也没有结论,毕竟每个人的喜好和习惯是大不相同的。我也看...
白话阿里巴巴Java开发手册高级篇
不久前,阿里巴巴发布了《阿里巴巴Java开发手册》,总结了阿里巴巴内部实际项目开发过程中开发人员应该遵守的研发流程规范,这些流程规范在一定程度上能够保证最终的项目交付质量,通过在时间中总结模式,并推广给广大开发人员,来避免研发人员在实践中容易犯的错误,确保最终在大规模协作的项目中达成既定目标。 无独有偶,笔者去年在公司里负责升级和制定研发流程、设计模板、设计标准、代码标准等规范,并在实际工作中进行...
SQL-小白最佳入门sql查询一
不要偷偷的查询我的个人资料,即使你再喜欢我,也不要这样,真的不好;
redis分布式锁,面试官请随便问,我都会
文章有点长并且绕,先来个图片缓冲下! 前言 现在的业务场景越来越复杂,使用的架构也就越来越复杂,分布式、高并发已经是业务要求的常态。像腾讯系的不少服务,还有CDN优化、异地多备份等处理。 说到分布式,就必然涉及到分布式锁的概念,如何保证不同机器不同线程的分布式锁同步呢? 实现要点 互斥性,同一时刻,智能有一个客户端持有锁。 防止死锁发生,如果持有锁的客户端崩溃没有主动释放锁,也要保证锁可以正常释...
项目中的if else太多了,该怎么重构?
介绍 最近跟着公司的大佬开发了一款IM系统,类似QQ和微信哈,就是聊天软件。我们有一部分业务逻辑是这样的 if (msgType = "文本") { // dosomething } else if(msgType = "图片") { // doshomething } else if(msgType = "视频") { // doshomething } else { // doshom...
Nginx 原理和架构
Nginx 是一个免费的,开源的,高性能的 HTTP 服务器和反向代理,以及 IMAP / POP3 代理服务器。Nginx 以其高性能,稳定性,丰富的功能,简单的配置和低资源消耗而闻名。 Nginx 的整体架构 Nginx 里有一个 master 进程和多个 worker 进程。master 进程并不处理网络请求,主要负责调度工作进程:加载配置、启动工作进程及非停升级。worker 进程负责处...
Python 编程开发 实用经验和技巧
Python是一门很灵活的语言,也有很多实用的方法,有时候实现一个功能可以用多种方法实现,我这里总结了一些常用的方法和技巧,包括小数保留指定位小数、判断变量的数据类型、类方法@classmethod、制表符中文对齐、遍历字典、datetime.timedelta的使用等,会持续更新......
YouTube排名第一的励志英文演讲《Dream(梦想)》
Idon’t know what that dream is that you have, I don't care how disappointing it might have been as you've been working toward that dream,but that dream that you’re holding in your mind, that it’s po...
“狗屁不通文章生成器”登顶GitHub热榜,分分钟写出万字形式主义大作
一、垃圾文字生成器介绍 最近在浏览GitHub的时候,发现了这样一个骨骼清奇的雷人项目,而且热度还特别高。 项目中文名:狗屁不通文章生成器 项目英文名:BullshitGenerator 根据作者的介绍,他是偶尔需要一些中文文字用于GUI开发时测试文本渲染,因此开发了这个废话生成器。但由于生成的废话实在是太过富于哲理,所以最近已经被小伙伴们给玩坏了。 他的文风可能是这样的: 你发现,...
程序员:我终于知道post和get的区别
是一个老生常谈的话题,然而随着不断的学习,对于以前的认识有很多误区,所以还是需要不断地总结的,学而时习之,不亦说乎
《程序人生》系列-这个程序员只用了20行代码就拿了冠军
你知道的越多,你不知道的越多 点赞再看,养成习惯GitHub上已经开源https://github.com/JavaFamily,有一线大厂面试点脑图,欢迎Star和完善 前言 这一期不算《吊打面试官》系列的,所有没前言我直接开始。 絮叨 本来应该是没有这期的,看过我上期的小伙伴应该是知道的嘛,双十一比较忙嘛,要值班又要去帮忙拍摄年会的视频素材,还得搞个程序员一天的Vlog,还要写BU...
加快推动区块链技术和产业创新发展,2019可信区块链峰会在京召开
11月8日,由中国信息通信研究院、中国通信标准化协会、中国互联网协会、可信区块链推进计划联合主办,科技行者协办的2019可信区块链峰会将在北京悠唐皇冠假日酒店开幕。   区块链技术被认为是继蒸汽机、电力、互联网之后,下一代颠覆性的核心技术。如果说蒸汽机释放了人类的生产力,电力解决了人类基本的生活需求,互联网彻底改变了信息传递的方式,区块链作为构造信任的技术有重要的价值。   1...
Java世界最常用的工具类库
Apache Commons Apache Commons有很多子项目 Google Guava 参考博客
相关热词 c# 输入ip c# 乱码 报表 c#选择结构应用基本算法 c# 收到udp包后回包 c#oracle 头文件 c# 序列化对象 自定义 c# tcp 心跳 c# ice连接服务端 c# md5 解密 c# 文字导航控件
立即提问