WCF 百万级数据获取 并发量达到3个,CPU就突然飙到80以上,然后程序超时? 5C

1 楼主用WCF做的是一个获取数据,生成excel文件的服务.大致的思路就是用EF结合LINQ获取数据,然后生成excel。

2 数据量小的时候代码运行没有问题

3 只有一个或者两个请求百万级数据,程序运行没有问题

4 但是当并发数达到3个以后,而且请求的也是百万级数据的时候,CPU占用就超过80了,并发数两个的时候都没有到30,这CPU飙升速度太异常了。下面是获取数据的主要代码

var exportList = from dataMain in dataList
join fina in finaNonameList on dataMain.FnId equals fina.Id into aa
from a in aa.DefaultIfEmpty()
join dep in _depList on dataMain.DeptId equals dep.Id into bb
from b in bb.DefaultIfEmpty()
join pub1 in pubList1 on dataMain.BusTypeId.ToString() equals pub1.Value
into cc
from c in cc.DefaultIfEmpty()
join pub2 in pubList2 on dataMain.OpeBusinessesId.ToString() equals
pub2.Value into dd
from d in dd.DefaultIfEmpty()
orderby dataMain.Id descending
select new ExportRePayInformationViewModel
{
Id = dataMain.Id,
FnId = dataMain.FnId,
SubContractNum = dataMain.SubContractNum,
InnerCode = dataMain.InnerCode,
InnerName = dataMain.InnerName,
};

        data = exportList.ToList();
        return data;    


百万级数据量的时候,代码运行到这里“ data = exportList.ToList();”,CPU占用就马上超过80了,然后程序就超时啦。跪求高手指点一二
作者:czf2505
来源:CSDN
原文:https://blog.csdn.net/czf2505/article/details/98183051
版权声明:本文为博主原创文章,转载请附上博文链接!

2个回答

tolist操作需要大量的内存,如果你内存不够,可能会造成问题。
你可以返回 IEnumerable<ExportRePayInformationViewModel> 代替 List<ExportRePayInformationViewModel> 

还是转换成sql来优化查询吧,比建议用EF做大数据!

Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!
其他相关推荐
开发APP为什么要用webapi、wcf这类系统提供数据,APP直接访问数据库不可以吗?
开发APP为什么要用webapi、wcf这类系统提供数据,APP直接访问数据库不是更方便吗?
WCF操作Oracle数据库问题
用PHP写了一个调用WCF的程序,WCF可以正常发布,访问老是报错,试了很多种办法都还没有解决。。 WCF发布后可以正常访问,如下图: ![图片说明](https://img-ask.csdn.net/upload/201508/10/1439203617_614245.png) 然后写了一个PHP调用的程序,如下图所示: ![图片说明](https://img-ask.csdn.net/upload/201508/10/1439203606_165045.png) ![图片说明](https://img-ask.csdn.net/upload/201508/10/1439203680_246761.png) 打开之后报错,如下图所示。。 ![图片说明](https://img-ask.csdn.net/upload/201508/10/1439203716_154335.png) 显示的是服务的内部错误,WCF服务的功能为操作Oracle数据库,用OracleClient命名空间,用的是64位的Oracle客户端,以前用32位的Oracle client依然这样宝座,试了网上的各种办法都没有什么用。主要的问题集中在WCF操作Oracle这个环节上,以及Oracle client 版本配置等问题,希望有遇到类似问题的前辈们多加知道,让我早一点调通这个小系统。
wcf 调用create channel factory返回一个channel,之后open的时候,状态是fault,原因是什么,怎么避免。
我有一个clr程序,频繁访问wcf。 每次调用wcf接口时,都会在wcf接口开始,创建channel factory。 channel open后,调用c#接口,处理结束后,再在wcf的接口结束前关闭channel和channel factory。 但是c++/clr工程频繁调用几千次wcf接口后,在wcf就报错:通信对象System.ServiceModel.Channels.ServiceChannel无法用于通信,因为其处于“出错”状态 配置: netTcpBinding binding name="TicketBindingConfiguration" openTimeout="00:30:00" receiveTimeout="00:30:00" sendTimeout="00:30:00" maxBufferSize="2147483647" maxReceivedMessageSize="2147483647"> <security mode="None" /> <readerQuotas maxStringContentLength="6553600" maxArrayLength="6553600" /> c#接口一次调用执行时间,在6ms到600ms之间不等
关于wcf 通过ef框架 访问数据库,得到值不能返回问题
我业务层通过调用wcf 服务, wcf访问数据库(ef 框架)后,得到数据,可是走到这一步 就卡住了,不能把数据返回业务层,请问这是那里问题 ?
wcf中listbox显示linq中的数据
我做WCF 在服务端用linq读取了数据库中的数据 如何显示在客户端的listbox中
java调用wcf数据量过大
大家好,我在使用java调用微软.net的wcf服务时,由于传递的数据量超过了65526,结果总是报错, 还请各位大神能否解答,同时我在wcf的服务端也配置了相应的配置,通过.net的客户端是没有问题, 就是在java客户端调用有问题? 请问?如何在java客户端做配置,使java调用wcf可以超过65536的限制? 感谢
WCF获取客户端IP 获取的不正确
我在网上按照这段代码,不知道为什么获取的不正确 OperationContext context = OperationContext.Current; //获取传进的消息属性 MessageProperties properties = context.IncomingMessageProperties; //获取消息发送的远程终结点IP和端口 RemoteEndpointMessageProperty endpoint = properties[RemoteEndpointMessageProperty.Name] as RemoteEndpointMessageProperty; Console.WriteLine(string.Format("Hello {0},You are from {1}:{2}", name, endpoint.Address, endpoint.Port)); return string.Format("Hello {0},You are from {1}:{2}", name, endpoint.Address, endpoint.Port); 老是获取的IP是:::1 ,我不明白为啥? 谁能告诉我?
WCF,客户端上传图片到服务端,然后再存放到数据库中的image字段中。
WCF的问题。我现在在需要上传相片到数据库中存储,数据库中想用image数据类型来存储,不是用相片的路径。功能要求是在客户端首先将图片显示在PictuerBox中,然后点击上传。上传成功后需要从数据库中把相片取出来显示在PictuerBox)。求案例
android调用wcf接口获取回调函数
wcf服务中定义了一个回调函数,Android中调用wcf接口,然后怎么去获得这个回调函数里返回值。
.net XAF框架-WCF获取推送数据
目前正在用XAF框架做一套系统,具体情况是: XAF框架中的WCF作为服务,接收第三方平台(Java)推送的Http数据,数据存放 在Stream流里,我该怎么接收这些数据? ![图片说明](https://img-ask.csdn.net/upload/201705/05/1493953934_621738.png) ![图片说明](https://img-ask.csdn.net/upload/201705/05/1493954448_330043.png) 目前这样写HttpContext.Current值为Null, 想请教大家,我需要怎么修改或者怎做才能接收到,本人菜鸟一个,恳请各位大神帮帮 小弟,若能解决,感激不尽!!!(还有疑问可以加QQ:546331192/微信:15003404754)
WCF中数据契约类包含数组成员时客户端报错,怎么解决
WCF中数据契约类包含数组成员时客户端报错,怎么办呢?这个声明为数据契约的类是当成返回值传给客户端的,当数组成员赋值为null的时候客户端能正确接收到数据,但是当给这个数组成员赋予一个数组时客户端就不能读取这个返回的数据了。有高手有类似经验吗?望不啬赐教啊,很急
WCF连接数据库方式的疑问
我现在要实现一个以WPF作为客户端,WCF作为服务端连接数据库并查询得到DataSet返回客户端的功能。 但是由于数据库有访问数量的限制,如果访问人数过多可能会出现连接失败的情况,所以不能直接用请求-响应模式来做。 本来我是打算把所有的数据库查询语句放在MSMQ里面,然后服务端读取进行查询然后返回,但是netMsmqBinding只支持单程传输不能双工,所以现在不知道该怎么把结果反馈回来。 请各位前辈提提意见,是否我们的设计思路有误不需要用消息队列?还是有什么其他的解决方案?
大神教教我WCF的数据安全研究
WCF现成的数据安全方法,可以基于传输安全的,也可以基于消息安全的Message安全模式怎么用
WCF调用约定加上IsOneWay=false能收到信息,去掉就收不到
WCF调用约定加上IsOneWay=false能收到信息,去掉就收不到,还有WCF怎么默认开启双向绑定啊,急死!
wcf中数据类型契约包括消息契约与错误契约吗?
在wcf中数据类型契约包括消息契约与错误契约吗?数据类型契约包括什么契约呢??
WCF怎么 拦截 使用post和get发送过来的请求
如题同上, 就是我的WCF服务 采用的是 WebHttpBinding的配置 客户端可以通过直接发送post和get请求到服务端,也可以获取到返回的数据,但是怎么拦截这样的请求
现在把这个类库 给到一个wcf azure的角色 站上,访问不到它呢
我一个类库里面有wcf 但采用的是非svc的方式 发布的直接在配置文件上写的 映射,现在把这个类库 给到一个wcf azure的角色 站上,访问不到它呢,有专业的人来给解释一下吗
c#利用webservice和wcf对oracle数据库增删改查,并判断两种方法的效率
初学者,以前没有接触过webservice和wcf。现在遇到一个这样的项目,请大家给予帮助,提供源码,思路都行。当然,最好是代码了,亲,帮一个忙呗~
WCF连接Oracle数据库异常
(.net版本3.5 ,VS2012,64位主机,安装Oracal64位客户端)桌面程序使用代码段可以正常连接,一放入WCF中连接异常显示如下: 尝试加载 Oracle 客户端库时引发 BadImageFormatException。如果在安装 32 位 Oracle 客户端组件的情况下以 64 位模式运行,将出现此问题。 代码如下: string strIP = "10.0.0.103";//主机名或IP string strUser = "alure_db";//用户名 string strPw = "sdDB2016";//密码 string strTemp = "ORCL";//服务名或SID string Conn = string.Format("User Id={0};Password={1};Data Source=(DESCRIPTION=" + "(ADDRESS=(PROTOCOL=TCP)(HOST={2})(PORT=1521))" + "(CONNECT_DATA=(SERVICE_NAME={3})));", strUser.Trim(), strPw.Trim(), strIP.Trim(), strTemp.Trim()); OracleConnection conn = new OracleConnection(Conn); try { if (conn.State != ConnectionState.Open) conn.Open(); msg = "OPEN"; } catch (Exception ex) { msg = "Fail"; } 用了一台32位的机子结果正常 =>结论就是WCF连接时候,IIS配置为32位.现在不知道怎么改这些,求解答!!
相见恨晚的超实用网站
相见恨晚的超实用网站 持续更新中。。。
Java学习的正确打开方式
在博主认为,对于入门级学习java的最佳学习方法莫过于视频+博客+书籍+总结,前三者博主将淋漓尽致地挥毫于这篇博客文章中,至于总结在于个人,实际上越到后面你会发现学习的最好方式就是阅读参考官方文档其次就是国内的书籍,博客次之,这又是一个层次了,这里暂时不提后面再谈。博主将为各位入门java保驾护航,各位只管冲鸭!!!上天是公平的,只要不辜负时间,时间自然不会辜负你。 何谓学习?博主所理解的学习,它是一个过程,是一个不断累积、不断沉淀、不断总结、善于传达自己的个人见解以及乐于分享的过程。
程序员必须掌握的核心算法有哪些?
由于我之前一直强调数据结构以及算法学习的重要性,所以就有一些读者经常问我,数据结构与算法应该要学习到哪个程度呢?,说实话,这个问题我不知道要怎么回答你,主要取决于你想学习到哪些程度,不过针对这个问题,我稍微总结一下我学过的算法知识点,以及我觉得值得学习的算法。这些算法与数据结构的学习大多数是零散的,并没有一本把他们全部覆盖的书籍。下面是我觉得值得学习的一些算法以及数据结构,当然,我也会整理一些看过...
大学四年自学走来,这些私藏的实用工具/学习网站我贡献出来了
大学四年,看课本是不可能一直看课本的了,对于学习,特别是自学,善于搜索网上的一些资源来辅助,还是非常有必要的,下面我就把这几年私藏的各种资源,网站贡献出来给你们。主要有:电子书搜索、实用工具、在线视频学习网站、非视频学习网站、软件下载、面试/求职必备网站。 注意:文中提到的所有资源,文末我都给你整理好了,你们只管拿去,如果觉得不错,转发、分享就是最大的支持了。 一、电子书搜索 对于大部分程序员...
linux系列之常用运维命令整理笔录
本博客记录工作中需要的linux运维命令,大学时候开始接触linux,会一些基本操作,可是都没有整理起来,加上是做开发,不做运维,有些命令忘记了,所以现在整理成博客,当然vi,文件操作等就不介绍了,慢慢积累一些其它拓展的命令,博客不定时更新 free -m 其中:m表示兆,也可以用g,注意都要小写 Men:表示物理内存统计 total:表示物理内存总数(total=used+free) use...
比特币原理详解
一、什么是比特币 比特币是一种电子货币,是一种基于密码学的货币,在2008年11月1日由中本聪发表比特币白皮书,文中提出了一种去中心化的电子记账系统,我们平时的电子现金是银行来记账,因为银行的背后是国家信用。去中心化电子记账系统是参与者共同记账。比特币可以防止主权危机、信用风险。其好处不多做赘述,这一层面介绍的文章很多,本文主要从更深层的技术原理角度进行介绍。 二、问题引入 假设现有4个人...
python学习方法总结(内附python全套学习资料)
不要再问我python好不好学了 我之前做过半年少儿编程老师,一个小学四年级的小孩子都能在我的教学下独立完成python游戏,植物大战僵尸简单版,如果要肯花时间,接下来的网络开发也不是问题,人工智能也可以学个调包也没啥问题。。。。。所以python真的是想学就一定能学会的!!!! --------------------华丽的分割线-------------------------------- ...
兼职程序员一般可以从什么平台接私活?
这个问题我进行了系统性的总结,以下将进行言简意赅的说明和渠道提供,希望对各位小猿/小媛们有帮助~ 根据我们的经验,程序员兼职主要分为三种:兼职职位众包、项目整包和自由职业者驻场。 所谓的兼职职位众包,指的是需求方这边有自有工程师配合,只需要某个职位的工程师开发某个模块的项目。比如开发一个 app,后端接口有人开发,但是缺少 iOS 前端开发工程师,那么他们就会发布一个职位招聘前端,来配合公司一...
网页实现一个简单的音乐播放器(大佬别看。(⊙﹏⊙))
今天闲着无事,就想写点东西。然后听了下歌,就打算写个播放器。 于是乎用h5 audio的加上js简单的播放器完工了。 演示地点演示 html代码如下` music 这个年纪 七月的风 音乐 ` 然后就是css`*{ margin: 0; padding: 0; text-decoration: none; list-...
JAVA 基础练习题
第一题 1.查看以下代码,并写出结果 public class Test01 { public static void main(String[] args) { int i1 = 5; boolean result = (i1++ &gt; 5) &amp;&amp; (++i1 &gt; 4); System.out.println(result); Sy...
Python十大装B语法
Python 是一种代表简单思想的语言,其语法相对简单,很容易上手。不过,如果就此小视 Python 语法的精妙和深邃,那就大错特错了。本文精心筛选了最能展现 Python 语法之精妙的十个知识点,并附上详细的实例代码。如能在实战中融会贯通、灵活使用,必将使代码更为精炼、高效,同时也会极大提升代码B格,使之看上去更老练,读起来更优雅。
数据库优化 - SQL优化
以实际SQL入手,带你一步一步走上SQL优化之路!
2019年11月中国大陆编程语言排行榜
2019年11月2日,我统计了某招聘网站,获得有效程序员招聘数据9万条。针对招聘信息,提取编程语言关键字,并统计如下: 编程语言比例 rank pl_ percentage 1 java 33.62% 2 cpp 16.42% 3 c_sharp 12.82% 4 javascript 12.31% 5 python 7.93% 6 go 7.25% 7 p...
通俗易懂地给女朋友讲:线程池的内部原理
餐盘在灯光的照耀下格外晶莹洁白,女朋友拿起红酒杯轻轻地抿了一小口,对我说:“经常听你说线程池,到底线程池到底是个什么原理?”
C++知识点 —— 整合(持续更新中)
本文记录自己在自学C++过程中不同于C的一些知识点,适合于有C语言基础的同学阅读。如果纰漏,欢迎回复指正 目录 第一部分 基础知识 一、HelloWorld与命名空间 二、引用和引用参数 2.1引用的定义 2.2 将引用用作函数参数 2.3 将引用用于类对象 2.4 引用和继承 2.5 何时使用引用参数 2.6 引用和指针的区别 三、内联函数 四、默认参数的...
《奇巧淫技》系列-python!!每天早上八点自动发送天气预报邮件到QQ邮箱
将代码部署服务器,每日早上定时获取到天气数据,并发送到邮箱。 也可以说是一个小型人工智障。 知识可以运用在不同地方,不一定非是天气预报。
经典算法(5)杨辉三角
杨辉三角 是经典算法,这篇博客对它的算法思想进行了讲解,并有完整的代码实现。
Python实例大全(基于Python3.7.4)
博客说明: 这是自己写的有关python语言的一篇综合博客。 只作为知识广度和编程技巧学习,不过于追究学习深度,点到即止、会用即可。 主要是基础语句,如三大控制语句(顺序、分支、循环),随机数的生成,数据类型的区分和使用; 也会涉及常用的算法和数据结构,以及面试题相关经验; 主体部分是针对python的数据挖掘和数据分析,主要先攻爬虫方向:正则表达式匹配,常用数据清洗办法,scrapy及其他爬虫框架,数据存储方式及其实现; 最后还会粗略涉及人工智能领域,玩转大数据与云计算、进行相关的预测和分析。
腾讯算法面试题:64匹马8个跑道需要多少轮才能选出最快的四匹?
昨天,有网友私信我,说去阿里面试,彻底的被打击到了。问了为什么网上大量使用ThreadLocal的源码都会加上private static?他被难住了,因为他从来都没有考虑过这个问题。无独有偶,今天笔者又发现有网友吐槽了一道腾讯的面试题,我们一起来看看。 腾讯算法面试题:64匹马8个跑道需要多少轮才能选出最快的四匹? 在互联网职场论坛,一名程序员发帖求助到。二面腾讯,其中一个算法题:64匹...
面试官:你连RESTful都不知道我怎么敢要你?
干货,2019 RESTful最贱实践
机械转行java自学经历,零基础学java,血泪总结的干货
机械转行java自学经历,零基础学java,血泪总结的干货 据说,再恩爱的夫妻,一生中都有100次想离婚的念头和50次想掐死对方的冲动。 求职路上亦是如此,打开这篇文章,相信你也有转行的想法。和身边的朋友聊过,入职后的他们,或多或少对现在的职位都有些不满,都有过转行的冲动。 可他们只是想,而我真的这样做了。 下面就介绍下我转行的血泪史。 我为什么要转行 高中复读了一年,考了个双非院校的机械。当时...
刷了几千道算法题,这些我私藏的刷题网站都在这里了!
遥想当年,机缘巧合入了 ACM 的坑,周边巨擘林立,从此过上了"天天被虐似死狗"的生活… 然而我是谁,我可是死狗中的战斗鸡,智力不够那刷题来凑,开始了夜以继日哼哧哼哧刷题的日子,从此"读题与提交齐飞, AC 与 WA 一色 ",我惊喜的发现被题虐既刺激又有快感,那一刻我泪流满面。这么好的事儿作为一个正直的人绝不能自己独享,经过激烈的颅内斗争,我决定把我私藏的十几个 T 的,阿不,十几个刷题网...
为啥国人偏爱Mybatis,而老外喜欢Hibernate/JPA呢?
关于SQL和ORM的争论,永远都不会终止,我也一直在思考这个问题。昨天又跟群里的小伙伴进行了一番讨论,感触还是有一些,于是就有了今天这篇文。 声明:本文不会下关于Mybatis和JPA两个持久层框架哪个更好这样的结论。只是摆事实,讲道理,所以,请各位看官勿喷。 一、事件起因 关于Mybatis和JPA孰优孰劣的问题,争论已经很多年了。一直也没有结论,毕竟每个人的喜好和习惯是大不相同的。我也看...
【Linux系统编程】Linux信号列表
00. 目录 文章目录00. 目录01. Linux信号编号02. 信号简介03. 特殊信号04. 附录 01. Linux信号编号 在 Linux 下,每个信号的名字都以字符 SIG 开头,每个信号和一个数字编码相对应,在头文件 signum.h 中,这些信号都被定义为正整数。信号名定义路径:/usr/include/i386-linux-gnu/bits/signum.h 要想查看这些信号和...
JavaScript 为什么能活到现在?
作者 | 司徒正美 责编 |郭芮 出品 | CSDN(ID:CSDNnews) JavaScript能发展到现在的程度已经经历不少的坎坷,早产带来的某些缺陷是永久性的,因此浏览器才有禁用JavaScript的选项。甚至在jQuery时代有人问出这样的问题,jQuery与JavaScript哪个快?在Babel.js出来之前,发明一门全新的语言代码代替JavaScript...
项目中的if else太多了,该怎么重构?
介绍 最近跟着公司的大佬开发了一款IM系统,类似QQ和微信哈,就是聊天软件。我们有一部分业务逻辑是这样的 if (msgType = "文本") { // dosomething } else if(msgType = "图片") { // doshomething } else if(msgType = "视频") { // doshomething } else { // doshom...
致 Python 初学者
欢迎来到“Python进阶”专栏!来到这里的每一位同学,应该大致上学习了很多 Python 的基础知识,正在努力成长的过程中。在此期间,一定遇到了很多的困惑,对未来的学习方向感到迷茫。我非常理解你们所面临的处境。我从2007年开始接触 python 这门编程语言,从2009年开始单一使用 python 应对所有的开发工作,直至今天。回顾自己的学习过程,也曾经遇到过无数的困难,也曾经迷茫过、困惑过。开办这个专栏,正是为了帮助像我当年一样困惑的 Python 初学者走出困境、快速成长。希望我的经验能真正帮到你
Python 编程开发 实用经验和技巧
Python是一门很灵活的语言,也有很多实用的方法,有时候实现一个功能可以用多种方法实现,我这里总结了一些常用的方法和技巧,包括小数保留指定位小数、判断变量的数据类型、类方法@classmethod、制表符中文对齐、遍历字典、datetime.timedelta的使用等,会持续更新......
借助AI力量,谷歌解开生命奥秘?
全文共4484字,预计学习时长8分钟 Paweł Czerwiński发布在 Unsplash上的原图 假如疾病不复存在会发生什么?如果我们能像大自然一样迅速获取能量又会发生什么?要是我们能够在极短时间内循环塑料、废油、或其它的一些物质呢?如果人类能够解开生命的奥秘,那么以上这些想象将在未来成为现实。人工智能企业DeepMind的数据科学分析师日前在此领域有了重大发现。以下为具体内容:...
吐血推荐珍藏的Visual Studio Code插件
作为一名Java工程师,由于工作需要,最近一个月一直在写NodeJS,这种经历可以说是一部辛酸史了。好在有神器Visual Studio Code陪伴,让我的这段经历没有更加困难。眼看这段经历要告一段落了,今天就来给大家分享一下我常用的一些VSC的插件。 VSC的插件安装方法很简单,只需要点击左侧最下方的插件栏选项,然后就可以搜索你想要的插件了。 下面我们进入正题 Material Theme ...
相关热词 c#委托 逆变与协变 c#新建一个项目 c#获取dll文件路径 c#子窗体调用主窗体事件 c# 拷贝目录 c# 调用cef 网页填表c#源代码 c#部署端口监听项目、 c#接口中的属性使用方法 c# 昨天
立即提问