TG_ivory 2020-04-15 16:19 采纳率: 0%
浏览 570

Python处理数据集内存溢出

想把mirFlicker25数据集处理为mat,编写代码如下,但会导致内存溢出。请问有什么解决办法吗?

from skimage.io import imread, imshow
import scipy.io as scio
from skimage.transform import resize
from os.path import join
from os import listdir
import numpy as np
from tqdm import tqdm

IMG_P = r'D:\mirflickr25k\mirflickr'

# image 文件列表
key_img = lambda s: int(s.split('.jpg')[0].split('im')[-1])
fs_img = [f for f in listdir(IMG_P) if '.jpg' in f]
fs_img = sorted(fs_img, key=key_img)  # 按标号排序
fs_img = [join(IMG_P, f) for f in fs_img]

N_IMG = 25000
batch_size = 2500
print(N_IMG)

all_img = []

for i in tqdm(range(25000)):
    im = imread(fs_img[i])
    im = resize(im, (224, 224, 3), mode='constant')
    im = np.expand_dims(im, axis=0)
    im = im.transpose((0, 3, 2, 1))
    all_img.append((im))

all_img = np.vstack(all_img)
scio.savemat('D:/result/img', {'image':all_img})
  • 写回答

1条回答 默认 最新

  • CSDN-Ada助手 CSDN-AI 官方账号 2022-09-29 21:55
    关注
    不知道你这个问题是否已经解决, 如果还没有解决的话:

    如果你已经解决了该问题, 非常希望你能够分享一下解决方案, 写成博客, 将相关链接放在评论区, 以帮助更多的人 ^-^
    评论

报告相同问题?

悬赏问题

  • ¥15 C++使用Gunplot
  • ¥15 这个电路是如何实现路灯控制器的,原理是什么,怎么求解灯亮起后熄灭的时间如图?
  • ¥15 matlab数字图像处理频率域滤波
  • ¥15 在abaqus做了二维正交切削模型,给刀具添加了超声振动条件后输出切削力为什么比普通切削增大这么多
  • ¥15 ELGamal和paillier计算效率谁快?
  • ¥15 file converter 转换格式失败 报错 Error marking filters as finished,如何解决?
  • ¥15 Arcgis相交分析无法绘制一个或多个图形
  • ¥15 关于#r语言#的问题:差异分析前数据准备,报错Error in data[, sampleName1] : subscript out of bounds请问怎么解决呀以下是全部代码:
  • ¥15 seatunnel-web使用SQL组件时候后台报错,无法找到表格
  • ¥15 fpga自动售货机数码管(相关搜索:数字时钟)