问题遇到的现象和发生背景
现在遇到要把一个软件的Log数据导出来加以分析,数据量达到几十万甚至上百万,其中的部分数据用切割函数切割出来变成了3X3的List,,然后可能这几十上百万的数据中,大多数都要进行切割,然后跟上一个3X3的List进行比较,同时,还要判断ID是否在字典中,这么做导致运算量巨大,运行时间可能长达几小时,粗略估算应该存在大量的冗余比较。现在逐行切割比较,不太行,效率不行,怎么优化好呢?
问题相关代码,请勿粘贴截图
代码太长了,大致的结构如下:
for i, row in df.iterrows(): # 逐行遍历txt文件
# 调用Api Call中的SetPosition冗余检查
if Description.startswith('SetPosition'): # 筛选要读取Log中的数据
check_Api_Description(i, df, Description, Timestamp, Game_Object_Name, Timestamp_temp, first)
check_Api_Description()函数中进行切割
xyz = split_Description(Description) # 调用分割函数,记录SetPosition中xyz,类型为3*3的list,list中的数据为float类型
然后检查字典中是否有同名对象,1为存在,0为不存在,不存在则把新的对象和xyz添加到字典中
flag_check_Dict_Object = check_Dict_Object(Game_Object_Name, xyz, Timestamp, Description)
如果存在同名对象,调用比较函数,比较当前xyz数组和对象字典中的值, 返回存在SetPosition差值过小,是否建议修改的标志,Ture为存在冗余,False为不必修改
flag_modify = compare_Description(Game_Object_Name, xyz, Timestamp)
运行结果及报错内容
目前运行的结果是理想的,但是时间太长了
我的解答思路和尝试过的方法
目前分析,读取txt每一行的数据,几乎都需要进行一系列的切割比较判断操作,太繁琐,但是每一行的数据又都是需要的,是通过某个容器,或者list之类的来存储一定行数的数据,每个list多线程来进行操作吗?有这个想法,但没试过。
我想要达到的结果
想大幅度减少目前脚本的运行时间,怎么处理大量数据?求解决方法说明确一点哈,万分感谢!