python数据库写入问题

Question

正在做个爬虫小项目，爬取数据保存下来，每一次访问只能取300条数据。现在是写入txt中，测试了一下一组五年的日数据写入文本耗时54秒，不写入文本爬虫仅耗时7秒，差距是非常大的，应该采用哪种方式保存数据比较好？txt xlsx 数据库 json？多线程写入txt？

Answer 1

文件IO操作的效率确实比较低，但还不至于这么低，建议检查自己的代码。
经验之谈，尽量减少文件读写操作，先把数据全部存储在列表中，到达一定条件后再写入。以内存空间占用换取磁盘读写时间。