问题遇到的现象和发生背景
现在遇到要把一个软件的Log数据导出来加以分析，数据量达到几十万甚至上百万，其中的部分数据用切割函数切割出来变成了3X3的List，，然后可能这几十上百万的数据中，大多数都要进行切割，然后跟上一个3X3的List进行比较，同时，还要判断ID是否在字典中，这么做导致运算量巨大，运行时间可能长达几小时，粗略估算应该存在大量的冗余比较。现在逐行切割比较，不太行，效率不行，怎么优化好呢？
问题相关代码，请勿粘贴截图
代码太长了，大致的结构如下：
for i, row in df.iterrows(): # 逐行遍历txt文件
# 调用Api Call中的SetPosition冗余检查
if Description.startswith('SetPosition'): # 筛选要读取Log中的数据
check_Api_Description(i, df, Description, Timestamp, Game_Object_Name, Timestamp_temp, first)
check_Api_Description（）函数中进行切割
xyz = split_Description(Description) # 调用分割函数，记录SetPosition中xyz,类型为3*3的list，list中的数据为float类型
然后检查字典中是否有同名对象,1为存在，0为不存在，不存在则把新的对象和xyz添加到字典中
flag_check_Dict_Object = check_Dict_Object(Game_Object_Name, xyz, Timestamp, Description)
如果存在同名对象，调用比较函数，比较当前xyz数组和对象字典中的值, 返回存在SetPosition差值过小,是否建议修改的标志，Ture为存在冗余，False为不必修改
flag_modify = compare_Description(Game_Object_Name, xyz, Timestamp)
运行结果及报错内容
目前运行的结果是理想的，但是时间太长了
我的解答思路和尝试过的方法
目前分析，读取txt每一行的数据，几乎都需要进行一系列的切割比较判断操作，太繁琐，但是每一行的数据又都是需要的，是通过某个容器，或者list之类的来存储一定行数的数据，每个list多线程来进行操作吗？有这个想法，但没试过。
我想要达到的结果
想大幅度减少目前脚本的运行时间，怎么处理大量数据？求解决方法说明确一点哈，万分感谢！
