请教各位专家：pandas写入excel时，时间太长如何解决？

Question

最近在研究数据存储的功能，采用pd.to_excel的方法做的。
这个方法有个问题：
一次存5000个数据，第一次存大约0.6s，第二次存大约1.2s，第三次存大约1.8s。
我逐句看了一下，load_workbook占了一些时间，writer.save占了一些时间。而且第二次存5000个数据的时候，是把最开始的5000个数据读出来，然后加上本次增加的5000个数据，10000个数据再写入到excel中。

这个时间在数据更多的时候会更长，最终到无法忍受。请教各位专家，是否有方法缩减这个时间？

Answer 1

xlsx文件实际上是多个xml文件构成的压缩包,数据、格式等等都定义在了不同的xml文件内,甚至同一个sheet中的数字和文本都是放在了不同的xml文件里,因此读取数据和写入数据都需要进行不少的解析动作。
如果你想要快速将数据写入文件,最好的方式是直接存成文本文件,这样要继续对已存在的文件增加数据时,不需要再次读取原文件内容进行解析了。
如果最终目标是生成xslx文件,可以在文本文件的内容全部生成后,一次性转换成xlsx