请问高并发的数据存储大家都是如何解决的?

我们现在正在做一套话务的处理系统,中心服务端大概每秒钟有1万条左右的通话数据发送到我们这边的服务器,数据中包含十几个字段。
一般数据会有个高峰期,晚上的时候数据量能降到几百条
所以目前我们的策略是先把过来的数据保存成单个文件(文件名以时间戳+序号方式保存),然后再由另外一个线程负责慢慢入库。

感觉这种方法太土了,有没有其他的技术能解决目前我们的业务?

1个回答

用消息队列等,来了数据丢到消息队列中去,它一般是用内存,所以性能会比写文件好。

Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!
其他相关推荐
求 有关 高并发 数据区 读取更新 数据 的解决办法

问题:高并发 数据库取数据,每次取到一条数据后更新这条数据的状态为已取用过。 环境:3台服务器跑应用 处理请求,多线程数据库取数据 有点类似 12306的买票,查找过资料 有看到 1W人 同时抢一张票的问题。 现在考虑的问题是,如果票是足够多的,如何解决高并发取数据冲突的问题,如果用加锁的方式,会出现大量请求都取一条数据,导致 等待时间太长。 有没有 好的方案,可以避免同时请求到同一条数据。

.net高并发数据的处理

如果大量用户同时并发,或者说同时操作某一个数据的时候,如何保持数据的一致性,请大佬给一个研究的方向。 分布式事务和消息列队 能否解决这个问题呢

多用户高并发插入数据怎么解决并发问题

场景: 类似银行存取,增减账户余额,但是多了明细表,每次转账更新用户同一条数据记录,但是用户明细表一直递增信息记录,关键字段为当前余额(操作金额加上原余额得出) 问题: 更新同一条记录可以通过增加version字段解决高并发同时写的问题 但是明细表中先读取原先余额再写入新余额,这个怎么解决,怎么能让每次读出余额是最新的,写入明细之前余额不会被修改

高并发下数据库中如何解决重复插入数据的问题

昨天面试,被面试官问到。。。 比如用户注册时,先要验证用户名是否存在,但是在验证过后可能还会被插入相同用户名的数据,这就造成了冲突。 应该怎么解决?

高并发的请求如何解决?

二类账户的限额如果只有10000,比如每次交易一笔,都需要对表更新限额.这些是需要锁表机制. 问题是如果大并发的情况下,如何解决?

高并发情况下的数据如何存储最节省空间

考虑 用户基数 1亿,日活用户 1kw的 一个APP系统,如果要开发签到功能,要求支持大并发,如何存储签到数据最节省空间?1个月后 需要多少空间存储这些数据? 用户id是Long型数据,均匀分布在 0-400000000之间,日活用户30%签到,使用哪些命令存储签到数据, 获取 某用户的某些天是否签到 使用什么命令?

高并发情况下怎么避免数据重复

数据库有一字段:orderNo,orderNo的规则:20170327000001、20170327000002依次往后累加。。。并发时怎么避免存入重复的

现在面试动不动多线程高并发,请问各位大神,你们项目中的多线程高并发是如何用的,哪些场景下用的?

现在面试动不动多线程高并发,请问各位大神,你们项目中的多线程高并发是如何用的,哪些场景下用的?我项目中主要是在做消息推送的时候用到过,消息存到kafka队列里面,然后创建一个线程池创建线程去处理每个消息。就这个地方用到了。其他地方没用到过。都说多线程高并发,听起来很高大上,因为自已没怎么做过这一块,非常好奇,还请大神们多多赐教。谢谢。

数据库高并发,用php程序编写的网站怎么解决

因为数据库高并发导致网页延迟或打不开 现在每秒的高并发值是2万 应该怎么解决

java中什么是高并发和多线程?高并发和多线程有什么关系

高并发和多线程有什么关系吗?访问量一多是不是必须要有多线程来实现?

关于MySQL高并发处理机制

大家好,最近面试的时候碰到一道面试题:MySQL在高并发的情况下,如何及时处理这么多连接的同步请求?当时我答得不够好,只知道是用线程池来实现。但是面试官说线程的数目是有限的,如果是1w个连接,仅仅用线程池来实现还是不能够及时响应。后来他说是用户态线程和内核线程调度的机制。但是我搜索过关键字“MySQL高并发机制”等等,都没有找到具体实现。具体是如何实现的呢?请大家指点一下。 另外有什么可以参考的文章推荐?谢谢!

关于商城的高并发问题

因为商城都是采用分布式集群部署,我有个疑问就是,比如说我在A服务器部署了,在B服务器也部署了相同的服务,假设现在有个1W人的抢购,那这1W中势必会请求这两个服务器(有的请求A,有的请求B),因为用的数据库是同一个,那么在高并发的情况下是如何保证这两个服务器的线程安全呢(如果只是单个服务器可以通过线程锁等手段加以控制)?各位大神有没有什么具体的方案?

mongoose异步操作mongodb,在高并发的情况下数据安全吗?

因为mongoose操作数据库数据是异步的,那么当我连续进行添加更新查询等操作,且高并发的情况下,数据是正确的吗?还是说他内部机制,还是有个队列一个一个执行的。

数据库 高并发 脏读 多线程

问题一 对于项目中一些对数据库的插入操作,每次插入一条两条,但是频繁,是应该没次请求插入数据时就对数据库直接进行插入操作,还是等到了一定的量对数据库进行一次批量操作。还有就是如果想对数据库进行批量操作,那么之前对的那些插入请求往哪里放,就是之前他请求插入,我肯定要把它存起来,然后在一次性插入,就是这个存起来的步骤是怎么处理的,最好用java 问题二 现在库存里只有一千件商品,同时有一万个人下单,下单那部分代码采用了加锁机制,导致了系统很卡,如过不加锁的话,那么可能会出现只有一千件商品,却有五千人下了单,怎么解决

关于高并发下的二次请求除了用队列还能用什么方式解决?

开发项目上有个短信发送的问题, 客户端提交到 /sms.php的请求 然后sms.php在curl post到sms运营商那儿去, 虽然少量没问题 但是高并发(某时间段)的话有可能同一时间几百个人请求,那么服务器也要在同一时间curl post几千个请求到运营商那儿去 高带宽还行 稍微低点就会照成很多请求失败, 因为队列用不来 研究了很久 把任务装进redis里面 然后通过 php cli来循环读取然后挨个发送 感觉php cli不靠谱 再则挨个挨个发 岂不是有时候有的短信要等很久才会收到 就是再次问问各位大神 有什么好的办法解决 环境php 5.6 apache windows 2008(linux不熟悉 之前做。net开发的 所以大部分都是用的win平台) 谢谢了各位前辈

为app提供api,架构该怎么设计,需要考虑高并发,访问量比较大。

有个项目需要重构:原来一个java后端服务的项目,用的是简单的servlet和JDBC 为 android app 提供的api,并发访问通过单例、线程池和多线程、缓存做的。 现在相对这个项目进行重构,考虑设计一套 restful风格的api,不知道有什么成熟的 rest框架可以推荐下。数据库部分的框架ibaits是否合适?高并发访问在写代码的时候又应该注意那些地方?总结下: 在高并发访问,主从多数据库的情况下, 1、restFUL api 该选用什么成熟的框架? 2、数据库部分选用什么框架比较合适,多数据配置该注意哪些? 3、在以上框架的基础上,代码有哪些地方需要注意? 4、以前那种简单粗暴设计有什么缺点?大家可以吐槽。 能给点儿意见的都给点儿意见吧,有指导性的相关链接也可以。我刚接触app后端设计这方面,虚心求教学习。只有30分,全给了。

这样的代码能缓解高并发吗

看到同事在项目中的代码,一段写入数据库的代码前增加了如下一段: ``` //redis setnx 并发处理 $redis = new redisConnect(); $r_key = $usr_id."_".$order_id; $canInsert = $redis->setnx($r_key,1); $redis->expire($r_key,10); if (!$canInsert) { $redis->close(); http_response_code(400); exit; } $master_db = new EseeApiDbConnection($type=true); $master_db->autocommit(false); ``` 后面是写入数据库的操作。redis后面并没有写入其他数据,这样的代码真有缓解高并发的作用吗

jetty嵌入式开发时,传输数据量大,在高并发的情况下,性能低

jetty做嵌入式开发时,由于实际的工程中出现jetty在高并发的情况下,传输数据太多会导致性能下降的问题,所以我写了一个测试程序来模拟该情况。 模拟程序如下: jetty服务端和客户端使用http交互,服务器都是万兆网卡,由于是内网,网络较好,带宽跑到1GB/s,功能为服务端读取1个1MB的文件到内存中,提供给客户端下载该文件,客户端发起http来下载,客户端使用的jetty-client的实现来下载该文件,客户端启动了400个线程,每个线程下载完文件之后休眠500ms再去下载,所以一个线程每秒能下载完毕2个文件,400个线程*2*1MB=800MB,这时带宽占用大概800MB,很明显还未跑满带宽,在此基础上再添加客户端线程数,反而导致整体性能降低,当把1MB的文件换为500KB文件时,能增加部分线程数,但是带宽占用也是很少的,还不到50%,系统响应慢。 怀疑是jetty在高并发的情况下,如果持续输出太多数据,导致性能下降。 这问题太纠结了。。。求高手解答

高密度的无线接入,高并发数,怎么解决?

现有大概200平方的会议室,由于活动需要,有1500个左右手机、平板等终端需同时无线接入,而且几乎都是2.4G频段的。现在担心信号干扰,设备不支持等因素,没有找到合适的解决方案或设备来支持。请教各位有什么办法能实现这个场景的,感激不尽!

C/C++学习指南全套教程

C/C++学习的全套教程,从基本语法,基本原理,到界面开发、网络开发、Linux开发、安全算法,应用尽用。由毕业于清华大学的业内人士执课,为C/C++编程爱好者的教程。

定量遥感中文版 梁顺林著 范闻捷译

这是梁顺林的定量遥感的中文版,由范闻捷等翻译的,是电子版PDF,解决了大家看英文费时费事的问题,希望大家下载看看,一定会有帮助的

YOLOv3目标检测实战:训练自己的数据集

YOLOv3是一种基于深度学习的端到端实时目标检测方法,以速度快见长。本课程将手把手地教大家使用labelImg标注和使用YOLOv3训练自己的数据集。课程分为三个小项目:足球目标检测(单目标检测)、梅西目标检测(单目标检测)、足球和梅西同时目标检测(两目标检测)。 本课程的YOLOv3使用Darknet,在Ubuntu系统上做项目演示。包括:安装Darknet、给自己的数据集打标签、整理自己的数据集、修改配置文件、训练自己的数据集、测试训练出的网络模型、性能统计(mAP计算和画出PR曲线)和先验框聚类。 Darknet是使用C语言实现的轻型开源深度学习框架,依赖少,可移植性好,值得深入探究。 除本课程《YOLOv3目标检测实战:训练自己的数据集》外,本人推出了有关YOLOv3目标检测的系列课程,请持续关注该系列的其它课程视频,包括: 《YOLOv3目标检测实战:交通标志识别》 《YOLOv3目标检测:原理与源码解析》 《YOLOv3目标检测:网络模型改进方法》 敬请关注并选择学习!

sql语句 异常 Err] 1064 - You have an error in your SQL syntax; check the manual that corresponds to your

在我们开发的工程中,有时候会报 [Err] 1064 - You have an error in your SQL syntax; check the manual that corresponds to your MySQL server version for the right syntax to use near ------ 这种异常 不用多想,肯定是我们的sql语句出现问题,下面...

浪潮集团 往年的软件类 笔试题 比较详细的哦

浪潮集团 往年的软件类 笔试题 比较详细的哦

2019 AI开发者大会

2019 AI开发者大会(AI ProCon 2019)是由中国IT社区CSDN主办的AI技术与产业年度盛会。多年经验淬炼,如今蓄势待发:2019年9月6-7日,大会将有近百位中美顶尖AI专家、知名企业代表以及千余名AI开发者齐聚北京,进行技术解读和产业论证。我们不空谈口号,只谈技术,诚挚邀请AI业内人士一起共铸人工智能新篇章!

I2c串口通信实现加速度传感器和FPGA的交流

此代码能实现加速度传感器与FPGA之间的交流,从而测出运动物体的加速度。

Python可以这样学(第一季:Python内功修炼)

董付国系列教材《Python程序设计基础》、《Python程序设计(第2版)》、《Python可以这样学》配套视频,讲解Python 3.5.x和3.6.x语法、内置对象用法、选择与循环以及函数设计与使用、lambda表达式用法、字符串与正则表达式应用、面向对象编程、文本文件与二进制文件操作、目录操作与系统运维、异常处理结构。

微信公众平台开发入门

本套课程的设计完全是为初学者量身打造,课程内容由浅入深,课程讲解通俗易懂,代码实现简洁清晰。通过本课程的学习,学员能够入门微信公众平台开发,能够胜任企业级的订阅号、服务号、企业号的应用开发工作。 通过本课程的学习,学员能够对微信公众平台有一个清晰的、系统性的认识。例如,公众号是什么,它有什么特点,它能做什么,怎么开发公众号。 其次,通过本课程的学习,学员能够掌握微信公众平台开发的方法、技术和应用实现。例如,开发者文档怎么看,开发环境怎么搭建,基本的消息交互如何实现,常用的方法技巧有哪些,真实应用怎么开发。

机器学习初学者必会的案例精讲

通过六个实际的编码项目,带领同学入门人工智能。这些项目涉及机器学习(回归,分类,聚类),深度学习(神经网络),底层数学算法,Weka数据挖掘,利用Git开源项目实战等。

eclipseme 1.7.9

eclipse 出了新的eclipseme插件,官方有下载,但特慢,我都下了大半天(可能自己网速差)。有急需要的朋友可以下哦。。。

Spring Boot -01- 快速入门篇(图文教程)

Spring Boot -01- 快速入门篇 今天开始不断整理 Spring Boot 2.0 版本学习笔记,大家可以在博客看到我的笔记,然后大家想看视频课程也可以到【慕课网】手机 app,去找【Spring Boot 2.0 深度实践】的课程,令人开心的是,课程完全免费! 什么是 Spring Boot? Spring Boot 是由 Pivotal 团队提供的全新框架。Spring Boot...

HoloLens2开发入门教程

本课程为HoloLens2开发入门教程,讲解部署开发环境,安装VS2019,Unity版本,Windows SDK,创建Unity项目,讲解如何使用MRTK,编辑器模拟手势交互,打包VS工程并编译部署应用到HoloLens上等。

最简单的倍频verilog程序(Quartus II)

一个工程文件 几段简单的代码 一个输入一个输出(50Mhz倍频到100Mhz)

计算机组成原理实验教程

西北工业大学计算机组成原理实验课唐都仪器实验帮助,同实验指导书。分为运算器,存储器,控制器,模型计算机,输入输出系统5个章节

4小时玩转微信小程序——基础入门与微信支付实战

这是一个门针对零基础学员学习微信小程序开发的视频教学课程。课程采用腾讯官方文档作为教程的唯一技术资料来源。杜绝网络上质量良莠不齐的资料给学员学习带来的障碍。 视频课程按照开发工具的下载、安装、使用、程序结构、视图层、逻辑层、微信小程序等几个部分组织课程,详细讲解整个小程序的开发过程

面试了一个 31 岁程序员,让我有所触动,30岁以上的程序员该何去何从?

最近面试了一个31岁8年经验的程序猿,让我有点感慨,大龄程序猿该何去何从。

基于RSA通信密钥分发的加密通信

基于RSA通信密钥分发的加密通信,采用pycrypto中的RSA、AES模块实现

不同变质程度煤尘爆炸残留气体特征研究

为分析不同变质程度煤尘爆炸残留气体成分的特征规律,利用水平管道煤尘爆炸实验装置进行了贫瘦煤、肥煤、气煤、长焰煤4种不同变质程度的煤尘爆炸实验,研究了不同变质程度煤尘爆炸后气体残留物含量的差异,并对气体

设计模式(JAVA语言实现)--20种设计模式附带源码

课程亮点: 课程培训详细的笔记以及实例代码,让学员开始掌握设计模式知识点 课程内容: 工厂模式、桥接模式、组合模式、装饰器模式、外观模式、享元模式、原型模型、代理模式、单例模式、适配器模式 策略模式、模板方法模式、观察者模式、迭代器模式、责任链模式、命令模式、备忘录模式、状态模式、访问者模式 课程特色: 笔记设计模式,用笔记串连所有知识点,让学员从一点一滴积累,学习过程无压力 笔记标题采用关键字标识法,帮助学员更加容易记住知识点 笔记以超链接形式让知识点关联起来,形式知识体系 采用先概念后实例再应用方式,知识点深入浅出 提供授课内容笔记作为课后复习以及工作备查工具 部分图表(电脑PC端查看):

MySQL数据库面试题(2020最新版)

文章目录数据库基础知识为什么要使用数据库什么是SQL?什么是MySQL?数据库三大范式是什么mysql有关权限的表都有哪几个MySQL的binlog有有几种录入格式?分别有什么区别?数据类型mysql有哪些数据类型引擎MySQL存储引擎MyISAM与InnoDB区别MyISAM索引与InnoDB索引的区别?InnoDB引擎的4大特性存储引擎选择索引什么是索引?索引有哪些优缺点?索引使用场景(重点)...

软件测试2小时入门

本课程内容系统、全面、简洁、通俗易懂,通过2个多小时的介绍,让大家对软件测试有个系统的理解和认识,具备基本的软件测试理论基础。 主要内容分为5个部分: 1 软件测试概述,了解测试是什么、测试的对象、原则、流程、方法、模型;  2.常用的黑盒测试用例设计方法及示例演示;  3 常用白盒测试用例设计方法及示例演示;  4.自动化测试优缺点、使用范围及示例‘;  5.测试经验谈。

几率大的Redis面试题(含答案)

本文的面试题如下: Redis 持久化机制 缓存雪崩、缓存穿透、缓存预热、缓存更新、缓存降级等问题 热点数据和冷数据是什么 Memcache与Redis的区别都有哪些? 单线程的redis为什么这么快 redis的数据类型,以及每种数据类型的使用场景,Redis 内部结构 redis的过期策略以及内存淘汰机制【~】 Redis 为什么是单线程的,优点 如何解决redis的并发竞争key问题 Red...

手把手实现Java图书管理系统(附源码)

【超实用课程内容】 本课程演示的是一套基于Java的SSM框架实现的图书管理系统,主要针对计算机相关专业的正在做毕设的学生与需要项目实战练习的java人群。详细介绍了图书管理系统的实现,包括:环境搭建、系统业务、技术实现、项目运行、功能演示、系统扩展等,以通俗易懂的方式,手把手的带你从零开始运行本套图书管理系统,该项目附带全部源码可作为毕设使用。 【课程如何观看?】 PC端:https://edu.csdn.net/course/detail/27513 移动端:CSDN 学院APP(注意不是CSDN APP哦) 本课程为录播课,课程2年有效观看时长,大家可以抓紧时间学习后一起讨论哦~ 【学员专享增值服务】 源码开放 课件、课程案例代码完全开放给你,你可以根据所学知识,自行修改、优化

jsp+servlet入门项目实例

jsp+servlet实现班级信息管理项目

winfrom中嵌套html,跟html的交互

winfrom中嵌套html,跟html的交互,源码就在里面一看就懂,很简单

Java面试题大全(2020版)

发现网上很多Java面试题都没有答案,所以花了很长时间搜集整理出来了这套Java面试题大全,希望对大家有帮助哈~ 本套Java面试题大全,全的不能再全,哈哈~ 一、Java 基础 1. JDK 和 JRE 有什么区别? JDK:Java Development Kit 的简称,java 开发工具包,提供了 java 的开发环境和运行环境。 JRE:Java Runtime Environ...

python实现数字水印添加与提取及鲁棒性测试(GUI,基于DCT,含测试图片)

由python写的GUI,可以实现数字水印的添加与提取,提取是根据添加系数的相关性,实现了盲提取。含有两种攻击测试方法(高斯低通滤波、高斯白噪声)。基于python2.7,watermark.py为主

Xshell6完美破解版,亲测可用

Xshell6破解版,亲测可用,分享给大家。直接解压即可使用

你连存活到JDK8中著名的Bug都不知道,我怎么敢给你加薪

CopyOnWriteArrayList.java和ArrayList.java,这2个类的构造函数,注释中有一句话 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 public ArrayList(Collection<? ...

相关热词 c#中如何设置提交按钮 c#帮助怎么用 c# 读取合并单元格的值 c#带阻程序 c# 替换span内容 c# rpc c#控制台点阵字输出 c#do while循环 c#调用dll多线程 c#找出两个集合不同的
立即提问