模型复现时又报错，咋整啊？

Question

这是出现问题的那部分

下面是报错，接着还有一堆错误

Answer 1

你的报错memory error是内存错误，

可能导致读写报错，并且数据大小变为0kb。

解决方法一：
尽量缩小需要读写的文件的大小，防止一下子读写大容量数据到内存里导致错误。
举例1：抓取数据的时候不是按年而是按月抓取。这样单个文件的数据量就比按年的小一个数量级。
举例2：把待下载的数据拆分为每1000行一个数据，然后再下载。

解决办法二：
pachram回收内存的节奏比较慢，有时候需要等整个for循环执行结束后才会回收内存。
这个时候可以主动回收内存。通过以下方法：
1.手动del这个变量，del x （删除） 然后import gc, 然后手动gc.collect() （回收）

解决办法三：
如果是32位的内存只能用2G，这也是个限制。

可以参考解决Python memory error的问题（四种解决方案）_小白白的博客-CSDN博客