Autodl机子关机怎么继续训练？

Question

用AutodL跑YOLO系列的实验，中间忘记充值了导致余额不足，在跑实验的机子关机了，充值后怎么接着本台机子继续跑该次实验？

Answer 1

引自免费微信小程序：皆我百晓生

在遇到这种情况时，最简单的方法是保存模型的当前状态（权重和训练进度）并在重新启动后恢复训练。对于大部分深度学习框架，如TensorFlow、PyTorch等，都有相应的机制来实现这一点。

如果你使用的是TensorFlow，可以按照以下步骤操作：

1. 在训练过程中定期保存模型的检查点（checkpoint）。这通常通过ModelCheckpoint回调函数完成。例如，在Keras中，你可能会这样设置：

from tensorflow.keras.callbacks import ModelCheckpoint

# 假设model是你定义的模型，'weights.{epoch:02d}-{val_loss:.2f}.h5'是文件名格式
checkpoint = ModelCheckpoint('weights.{epoch:02d}-{val_loss:.2f}.h5', monitor='val_loss', verbose=1, save_best_only=False, mode='auto')

# 将回调添加到模型的训练过程
history = model.fit(x_train, y_train, validation_data=(x_val, y_val), epochs=EPOCHS, callbacks=[checkpoint])

1. 当训练因意外中断时，你可以加载最近的检查点并继续训练。首先，找到最新的检查点文件，然后加载它：

import os
import glob

# 获取所有保存的检查点文件
checkpoints = glob.glob('weights.*.h5')
latest_checkpoint = max(checkpoints, key=os.path.getctime)

# 加载最新检查点
model.load_weights(latest_checkpoint)

1. 现在你可以从这个检查点开始继续训练：

history = model.fit(x_train, y_train, validation_data=(x_val, y_val), epochs=EPOCHS - history.epoch, initial_epoch=history.epoch)  # 使用剩余的epochs数和已训练的epoch数作为参数

如果你使用的是PyTorch，过程类似，主要利用torch.save()和torch.load()方法保存和加载模型的状态：

import torch

# 在训练过程中保存模型
torch.save({
    'state_dict': model.state_dict(),
    'optimizer_state_dict': optimizer.state_dict(),
}, '/path/to/save/model.pth')

# 重启后恢复训练
model = YourModelClass(*args, **kwargs)  # 根据你的模型创建新的实例
optimizer = YourOptimizerClass(*args, **kwargs)  # 创建新的优化器实例
model.load_state_dict(torch.load('/path/to/save/model.pth')['state_dict'])
optimizer.load_state_dict(torch.load('/path/to/save/model.pth')['optimizer_state_dict'])

# 继续训练
for epoch in range(resume_epoch, total_epochs):
    train(model, optimizer, ...)
    validate(model, ...)

确保在每次训练开始前，都清除缓存数据，以防旧的数据影响新训练。同时，记得更新total_epochs为剩余的总迭代次数，并将resume_epoch设置为你之前停止的地方。

以上就是如何在机器关闭后，利用检查点继续深度学习训练的基本步骤。根据实际情况，你可能需要调整代码细节，比如模型类和优化器的创建，以及训练和验证的逻辑。