qq_36829883 2020-06-07 12:27 采纳率: 0%
浏览 225

十万条数据组织xml参数越来越慢这个该怎么解决

大佬们帮忙看看:请仔细阅读,谢谢!!!
必须是单线程跑createTempXML方法,orphanPolicyPOs集合现在是十万条数据,下面每个查询接口最多耗时不超过5毫秒,上传ftp也不慢,
跑两万条还可以,经过查看日志,越往后跑组织xml参数越来越慢,希望在60分钟到90分钟能跑完10万条数据,并且上传ftp,请问组织xml参数越来越慢这个该怎么解决,谢谢啦!!!

耗时单位是:分
优化后5000条数据耗时: 5
优化后10000条数据耗时: 4.6
优化后15000条数据耗时: 6.1
优化后20000条数据耗时: 10.1
优化后30000条数据耗时: 27.65
优化后50000条数据耗时: 58.5
优化后100000条数据耗时:202.5

我优化失败的方法:
方法1:把orphanPolicyPOs集合拆分,每1万条跑调一次createTempXML方法,相当于orphanPolicyPOs集合只有一万条,跑十次,但是还是两万条后组织xml参数越来越慢。
方法2:上传一次ftp,把手动GC一次。还是不行,组织xml参数越来越慢。
方法3:把参数放入对象,转换成xml,十万条数据能快20分钟,但是和要求差太远。
方法4:大佬们帮帮忙啦!!!实在找不到原因了,我太菜鸟了!!!!

一万条数单条数据xml组织参数耗时
图片说明

三万条数单条数据xml组织参数耗时
图片说明

八万条数单条数据xml组织参数耗时
图片说明

  • 写回答

1条回答 默认 最新

  • threenewbee 2020-06-07 13:21
    关注

    没办法,xml就是这么低效。如果你顽固坚持使用xml的话,那没办法。但是如果你只是把xml作为输入输出,而内部处理使用某种更高效的机制,那解决办法很多。

    评论

报告相同问题?

悬赏问题

  • ¥20 matlab yalmip kkt 双层优化问题
  • ¥15 如何在3D高斯飞溅的渲染的场景中获得一个可控的旋转物体
  • ¥88 实在没有想法,需要个思路
  • ¥15 MATLAB报错输入参数太多
  • ¥15 python中合并修改日期相同的CSV文件并按照修改日期的名字命名文件
  • ¥15 有赏,i卡绘世画不出
  • ¥15 如何用stata画出文献中常见的安慰剂检验图
  • ¥15 c语言链表结构体数据插入
  • ¥40 使用MATLAB解答线性代数问题
  • ¥15 COCOS的问题COCOS的问题