加载模型继续训练速度特别慢

Question

加载模型后训练速度特别慢，训练时间是一开始训练的五六倍。只要一口气训练完速度就快，接着上次的epoch继续训练速度就特慢，4070，i5-12400，python3.9.18，torch1.12.0+cu113
这是用于保存model的代码

torch.save({
            'epoch': epoch,
            'model_state_dict': model.state_dict(),
            'optimizer_state_dict': optimizer.state_dict(),
            'loss': loss,  # 如果你想保存当前的损失
            # 可以保存其他你想要的信息
        }, 'model.pth')
        print("已保存")

这是用于加载model的代码

#下面这几句要延续上次训练的时候启用
checkpoint = torch.load('model.pth')
model.load_state_dict(checkpoint['model_state_dict'])
optimizer.load_state_dict(checkpoint['optimizer_state_dict'])
epoch = checkpoint['epoch']
loss = checkpoint['loss']
model=model.to(device)