大佬们帮忙看看:请仔细阅读,谢谢!!!
必须是单线程跑createTempXML方法,orphanPolicyPOs集合现在是十万条数据,下面每个查询接口最多耗时不超过5毫秒,上传ftp也不慢,
跑两万条还可以,经过查看日志,越往后跑组织xml参数越来越慢,希望在60分钟到90分钟能跑完10万条数据,并且上传ftp,请问组织xml参数越来越慢这个该怎么解决,谢谢啦!!!
耗时单位是:分
优化后5000条数据耗时: 5
优化后10000条数据耗时: 4.6
优化后15000条数据耗时: 6.1
优化后20000条数据耗时: 10.1
优化后30000条数据耗时: 27.65
优化后50000条数据耗时: 58.5
优化后100000条数据耗时:202.5
我优化失败的方法:
方法1:把orphanPolicyPOs集合拆分,每1万条跑调一次createTempXML方法,相当于orphanPolicyPOs集合只有一万条,跑十次,但是还是两万条后组织xml参数越来越慢。
方法2:上传一次ftp,把手动GC一次。还是不行,组织xml参数越来越慢。
方法3:把参数放入对象,转换成xml,十万条数据能快20分钟,但是和要求差太远。
方法4:大佬们帮帮忙啦!!!实在找不到原因了,我太菜鸟了!!!!
一万条数单条数据xml组织参数耗时
三万条数单条数据xml组织参数耗时
八万条数单条数据xml组织参数耗时