实时大数据写入数据库 6C

项目:IOCP的多线程(工作线程)解析大量客户端发送过来的数据;这个数据量是非常大的,上千个客户端,每50MS发送一个数据包过来,要把他们写入数据库。以下是我做的两种设计,均不能成功。
1.简单地通过程序一条一条地执行SQL语句写入数据库,失败,效率极低,淘汰。
2.我目前的处理是把这个SQL语句做一个拼接(...+SQL语句+;+SQL 语句+;+...),然后一并执行,写入数据库,但是这么设计的话,内存会一直涨,因为写入数据库的速率小于IOCP解析出来的数据所形成的SQL语句,它是占内存。
需解决的问题如下:
在不做分布式数据库设计的情况,有什么高性能的写数据库的方法, 我是用的数据库是SQL server 2008 ,用VC++ 实现,因为C#的话,微软封装了相应的类。求高手指教

5个回答

数据库性能很难跟上这种数据处理速度,你可以考虑先放内存队列,或者内存数据库。
等数据接受完了再写入数据库。

alzy2011
super蚁族 这个不能保证实时性吧,我的数据要实时写入数据库,存入数据库的数据需要实时在网页上更新的
接近 5 年之前 回复

可以考虑使用存储过程,减少与数据库通信的数据量,执行速度更快。

alzy2011
super蚁族 在我说的这个场景里面,不能很好的设计存储过程吧,我需要的是大量update记录以及insert记录;您说用存储过程,能详细问下怎么设计实现
接近 5 年之前 回复

首先你应该通过性能测试分析,确定影响性能的环节在哪里。
就你现在的情况分析,写入数据库的速度必须大于接受数据的速度;
如果你依然坚持使用SQL server 2008,我觉得可以考虑使用存储过程;
你目前的处理是把这个SQL语句做一个拼接,这样通信量会增加,数据库需要逐条优化,影响性能;
而使用使用存储过程,你可以一个存储过程接收10个、20个、N个参数(需要更新或插入的数据);
至于存储过程具体的优点使用请自行查阅;另外可以建立多个数据库链接同时写入数据;
但考虑到磁盘写入速度的限制,应该考虑分库分表,利用多个磁盘提升磁盘IO性能;

按你的情况,数据量非常大的话应该考虑多台数据库服务器;
另外数据库方面推荐采用NoSQL。

alzy2011
super蚁族 回复alzy2011: 终于找到原因了是SQL server的执行缓存引起的内存上涨,解决办法是把拼接的SQL语句,作为参数传递给存储过程,这样的话内存基本上就不会不停地上涨了,你之前是这个意思吗???????
接近 5 年之前 回复
alzy2011
super蚁族 这种方法我觉得可行,正打算尝试:方法是使用存储过程,向一个存储过程传递一个参数(拼接的SQL语句),在存储过程里面执行。这样的话就不会占用本地内存了
接近 5 年之前 回复
alzy2011
super蚁族 目前的环境不能采用多台服务器,分布式数据库这个只是妄想,要是可以分布式设计数据库的话,这个写入就压力不大了,就是因为条件有限,只能想一些奇葩的方法去应对了,您还有什么高见没有?
接近 5 年之前 回复
alzy2011
super蚁族 回复alzy2011: 因为磁盘IO远远没有达到50%以上
接近 5 年之前 回复
alzy2011
super蚁族 回复alzy2011: 因为磁盘IO远远没有达到50%以上
接近 5 年之前 回复
alzy2011
super蚁族 我是不是应该创建更多的线程同时向数据库写
接近 5 年之前 回复
alzy2011
super蚁族 按您的意思,我建立多个数据库链接同时拼接SQL语句向数据库写入数据,服务器磁盘IO性能维持在40%以下,但是内存一直在增长,还是SQL语句占空间了,写入的数据的速度小于接收的数据速度,造成SQL语句字符串停留在内存中,使内存一直处于增长的趋势。
接近 5 年之前 回复

我说的存储过程的意思是这样的:

存储过程(插入数据1, 插入数据2, 插入数据N){
Insert TableName(column) values( 插入数据1)
Insert TableName(column) values( 插入数据2)
Insert TableName(column) values( 插入数据N)
}

把SQL语句写在存储过程内部,这样在创建存储过程时,SQL语句就被优化了,
不需要每次执行都优化。

testcs_dn
微wx笑 回复alzy2011: 也可以,但建议你对两种方法做一下对比,看哪种性能更高。
接近 5 年之前 回复
alzy2011
super蚁族 不能把拼接的sql语句当成参数传递给存储过程吗?然后存储过程中用exec执行这个拼接好的SQL语句串!
接近 5 年之前 回复

可以通过MQ,然后批量写库。
若不用MQ,可以通过自己写 SOCKET 进行数据传输,然后批量写库。

testcs_dn
微wx笑 回复alzy2011: MQ就是message queue(消息队列)
接近 5 年之前 回复
alzy2011
super蚁族 通过socket传输指的是通过socket把接收到数据传送给其他应用程序去批量把数据写入数据库吗?您是这个意思?
接近 5 年之前 回复
alzy2011
super蚁族 MQ是什么?
接近 5 年之前 回复
Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!
其他相关推荐
将数据写入数据库时,如果占时无法连接数据库时,怎样保存这些数据
-
java中excel数据写入数据库
-
将一个数据库中的数据存入另一个数据库
-
android开发 服务器端访问MySQL数据库,怎么把客户端发送过来的数据写入数据库?
-
实时排序的数据存入文件,不使用数据库的话,用什么样的形式保存比较好?
-
两个数据库双向主从同步后 如果同时向两个数据库写入内容或者更新同一行怎么办呢?
-
php数据传入数据库时怎样保持换行?
-
springmvc前台获取数据,存入数据库,controller该怎么写
-
java大批量数据导入数据库
-
PHP写入phpMyAdmin后数据库乱码
-
安卓 SQLite数据库 数据库操作调用
-
急.关于导入excel并存入数据库的效率问题
-
如何改正存入数据库的字符是乱码的问题,在界面录入的汉字,在数据库显示为乱码!
-
两个mysql数据库之间数据传递
-
关于把socket数据写入数据库的问题
-
powerbuilder+access数据库,powerbuilder读取access数据库,存在延迟
-
关于实时更新数据库的问题
-
如何读取刚刚存入数据库的一个数据
-
关于在MVC模式下将浏览网页的用户IP写入后台数据库的处理流程问题
-
程序员那些必须掌握的排序算法(下)
接着上一篇的排序算法,我们废话不多,直接进入主题。 1.快速排序 快速排序(Quicksort)是对冒泡排序的一种改进。 快速排序由C. A. R. Hoare在1960年提出。它的基本思想是:通过一趟排序将要排序的数据分割成独立的两部分,其中一部分的所有数据都比另外一部分的所有数据都要小,然后再按此方法对这两部分数据分别进行快速排序,整个排序过程可以递归进行,以此达到整个数据变成有序序列。 演示...
学会了这些技术,你离BAT大厂不远了
每一个程序员都有一个梦想,梦想着能够进入阿里、腾讯、字节跳动、百度等一线互联网公司,由于身边的环境等原因,不知道 BAT 等一线互联网公司使用哪些技术?或者该如何去学习这些技术?或者我该去哪些获取这些技术资料?没关系,平头哥一站式服务,上面统统不是问题。平头哥整理了 BAT 等一线大厂的必备技能,并且帮你准备了对应的资料。对于整理出来的技术,如果你掌握的不牢固,那就赶快巩固,如果你还没有涉及,现在...
程序员真是太太太太太有趣了!!!
网络上虽然已经有了很多关于程序员的话题,但大部分人对这个群体还是很陌生。我们在谈论程序员的时候,究竟该聊些什么呢?各位程序员大佬们,请让我听到你们的声音!不管你是前端开发...
史上最详细的IDEA优雅整合Maven+SSM框架(详细思路+附带源码)
网上很多整合SSM博客文章并不能让初探ssm的同学思路完全的清晰,可以试着关掉整合教程,摇两下头骨,哈一大口气,就在万事具备的时候,开整,这个时候你可能思路全无 ~中招了咩~ ,还有一些同学依旧在使用eclipse或者Myeclipse开发,我想对这些朋友说IDEA 的编译速度很快,人生苦短,来不及解释了,直接上手idea吧。这篇文章每一步搭建过程都测试过了,应该不会有什么差错。本文章还有个比较优秀的特点,就是idea的使用,基本上关于idea的操作都算是比较详细的,所以不用太担心不会撸idea!最后,本文
知乎上 40 个有趣回复,很精辟很提神
点击蓝色“五分钟学算法”关注我哟加个“星标”,天天中午 12:15,一起学算法作者 |佚名来源 |网络整理,版权归原作者所有,侵删。1交朋友的标准是什么?- Ques...
从入门到精通,Java学习路线导航
引言 最近也有很多人来向我"请教",他们大都是一些刚入门的新手,还不了解这个行业,也不知道从何学起,开始的时候非常迷茫,实在是每天回复很多人也很麻烦,所以在这里统一作个回复吧。 Java学习路线 当然,这里我只是说Java学习路线,因为自己就是学Java的,对Java理当很熟悉,对于其它方面,我也不是很了解。 基础阶段 首先是基础阶段,在基础阶段,我们必须掌握Java基础,Mysql数据库,Ora...
我花了一夜用数据结构给女朋友写个H5走迷宫游戏
起因 又到深夜了,我按照以往在csdn和公众号写着数据结构!这占用了我大量的时间!我的超越妹妹严重缺乏陪伴而 怨气满满! 而女朋友时常埋怨,认为数据结构这么抽象难懂的东西没啥作用,常会问道:天天写这玩意,有啥作用。而我答道:能干事情多了,比如写个迷宫小游戏啥的! 当我码完字准备睡觉时:写不好别睡觉! 分析 如果用数据结构与算法造出东西来呢? ...
实现 Java 本地缓存,该从这几点开始
缓存,我相信大家对它一定不陌生,在项目中,缓存肯定是必不可少的。市面上有非常多的缓存工具,比如 Redis、Guava Cache 或者 EHcache。对于这些工具,我想大家肯定都非常熟悉,所以今天我们不聊它们,我们来聊一聊如何实现本地缓存。参考上面几种工具,要实现一个较好的本地缓存,平头哥认为要从以下三个方面开始。 1、存储集合的选择 实现本地缓存,存储容器肯定是 key/value 形式的数...
揭开 Python 内存分配时的小秘密!
作者 | 豌豆花下猫 责编 | 胡巍巍 Python 中的sys模块极为基础而重要,它主要提供了一些给解释器使用(或由它维护)的变量,以及一些与解释器强交互的函数。 本文将会频繁地使用该模块的getsizeof()方法,因此,我先简要介绍一下: 该方法用于获取一个对象的字节大小(bytes) 它只计算直接占用的内存,而不计算对象内所引用对象的内存 这里有个直观的例...
让程序员崩溃的瞬间(非程序员勿入)
今天给大家带来点快乐,程序员才能看懂。 来源:https://zhuanlan.zhihu.com/p/47066521 1. 公司实习生找 Bug 2.在调试时,将断点设置在错误的位置 3.当我有一个很棒的调试想法时 4.偶然间看到自己多年前写的代码 5.当我第一次启动我的单元测试时 ...
用Python分析2000款避孕套,得出这些有趣的结论
到现在为止,我们的淘宝教程已经写到了第四篇,前三篇分别是: 第一篇:Python模拟登录淘宝,详细讲解如何使用requests库登录淘宝pc端。 第二篇:淘宝自动登录2.0,新增Cookies序列化,教大家如何将cookies保存起来。 第三篇:Python爬取淘宝商品避孕套,教大家如何爬取淘宝pc端商品信息。 今天,我们来看看淘宝系列的第四篇 我们在上一篇的时候已经将淘宝数据爬取下来了,...
做好以下四点,拒做 “ 空心 ” 程序员
01、注重原理性知识 现在的互联网环境下,注重原理性知识学习的程序员越来越少,特别是在这种培训机构大爆炸的环境下,在网上你会经常看到类似三个月从入门到精通高并发、分布式的广告,我相信培训机构有这套技术的能力,但是我不相信一个初学者有这么好的接收能力。甚至某个培训机构的讲师里,有一个1997年出生的架构师,20岁出头就当上了架构师,真的是后生可畏呀。在我的思维里,架构师不是学出来的,架构师是...
分享靠写代码赚钱的一些门路
作者 mezod,译者 josephchang10如今,通过自己的代码去赚钱变得越来越简单,不过对很多人来说依然还是很难,因为他们不知道有哪些门路。今天给大家分享一个精彩...
技术人员要拿百万年薪,必须要经历这9个段位
很多人都问,技术人员如何成长,每个阶段又是怎样的,如何才能走出当前的迷茫,实现自我的突破。所以我结合我自己10多年的从业经验,总结了技术人员成长的9个段位,希望对大家的职...
面试官:兄弟,说说基本类型和包装类型的区别吧
Java 的每个基本类型都对应了一个包装类型,比如说 int 的包装类型为 Integer,double 的包装类型为 Double。基本类型和包装类型的区别主要有以下 4 点。
进程和线程的区别(超详细)
进程和线程 进程 一个在内存中运行的应用程序。每个进程都有自己独立的一块内存空间,一个进程可以有多个线程,比如在Windows系统中,一个运行的xx.exe就是一个进程。 线程 进程中的一个执行任务(控制单元),负责当前进程中程序的执行。一个进程至少有一个线程,一个进程可以运行多个线程,多个线程可共享数据。 与进程不同的是同类的多个线程共享进程的堆和方法区资源,但每个线程有自己的程序计数器、虚拟...
第二弹!python爬虫批量下载高清大图
文章目录前言下载免费高清大图下载带水印的精选图代码与总结 前言 在上一篇写文章没高质量配图?python爬虫绕过限制一键搜索下载图虫创意图片!中,我们在未登录的情况下实现了图虫创意无水印高清小图的批量下载。虽然小图能够在一些移动端可能展示的还行,但是放到pc端展示图片太小效果真的是很一般!建议阅读本文查看上一篇文章,在具体实现不做太多介绍,只讲个分析思路。 当然,本文可能技术要求不是特别高,但可以...
面试官,不要再问我三次握手和四次挥手
三次握手和四次挥手是各个公司常见的考点,也具有一定的水平区分度,也被一些面试官作为热身题。很多小伙伴说这个问题刚开始回答的挺好,但是后面越回答越冒冷汗,最后就歇菜了。 见过比较典型的面试场景是这样的: 面试官:请介绍下三次握手 求职者:第一次握手就是客户端给服务器端发送一个报文,第二次就是服务器收到报文之后,会应答一个报文给客户端,第三次握手就是客户端收到报文后再给服务器发送一个报文,三次握手就...
为什么说 Web 开发永远不会退出历史舞台?
早在 PC 崛起之际,Web 从蹒跚学步一路走到了主导市场的地位,但是随着移动互联网时代的来临,业界曾有不少人猜测,“Web 应该被杀死,App 才是未来”。不过时间是检...
Java 爬虫遇到需要登录的网站,该怎么办?
这是 Java 网络爬虫系列博文的第二篇,在上一篇 Java 网络爬虫,就是这么的简单 中,我们简单的学习了一下如何利用 Java 进行网络爬虫。在这一篇中我们将简单的聊一聊在网络爬虫时,遇到需要登录的网站,我们该怎么办? 在做爬虫时,遇到需要登陆的问题也比较常见,比如写脚本抢票之类的,但凡需要个人信息的都需要登陆,对于这类问题主要有两种解决方式:一种方式是手动设置 cookie ,就是先在网站上...
nginx学习,看这一篇就够了:下载、安装。使用:正向代理、反向代理、负载均衡。常用命令和配置文件
文章目录前言一、nginx简介1. 什么是 nginx 和可以做什么事情2.Nginx 作为 web 服务器3. 正向代理4. 反向代理5. 动静分离6.动静分离二、Nginx 的安装三、 Nginx 的常用命令和配置文件四、 Nginx 配置实例 1 反向代理五、 Nginx 配置实例 2 负载均衡六、 Nginx 配置实例 3 动静分离七、 Nginx 的高可用集群 前言 一、nginx简介...
相关热词 c#怎么调用api接口 c# 调用mstsc c#扩展函数 c#向上转换向下转换 c#chart直方图叠加 c# 添加body样式 c# 调用接口 c#高德地图经纬度查询 c# 测试并发 c# 取操作系统