pytorch使用恢复训练方法，学习率调整策略失效

Question

使用断点训练 恢复训练 学习率调整策略失效又从头开始了，学习率不再是上一个epoch时的学习率 变成了一开始的学习率.

Answer 1

在PyTorch中，恢复训练时，可以使用以下方法来调整学习率：

1.使用torch.optim.lr_scheduler模块：PyTorch提供了torch.optim.lr_scheduler模块，其中包含了各种学习率调整策略。你可以选择适合你的模型和数据集的学习率调整器，并在每个epoch或一定的步数后更新学习率。

import torch.optim as optim
from torch.optim.lr_scheduler import StepLR

# 定义优化器和学习率调整器
optimizer = optim.SGD(model.parameters(), lr=0.1)
scheduler = StepLR(optimizer, step_size=10, gamma=0.1)

# 训练循环中的每个epoch或一定的步数后更新学习率
for epoch in range(num_epochs):
    # 训练模型
    ...
    # 更新学习率
    scheduler.step()

在上面的代码中，StepLR调度器会在每个step_size步后将学习率乘以gamma，以实现学习率的衰减。

2.手动调整学习率：如果你对学习率调整策略有更精细的控制需求，你可以在训练循环中手动调整学习率，根据你的需求更新优化器的学习率。

import torch.optim as optim

# 定义优化器和初始学习率
optimizer = optim.SGD(model.parameters(), lr=0.1)
initial_lr = 0.1

# 训练循环中的每个epoch或一定的步数后更新学习率
for epoch in range(num_epochs):
    # 训练模型
    ...
    # 根据你的需求更新学习率
    lr = initial_lr * 0.1 ** (epoch // 10)  # 自定义学习率衰减策略
    for param_group in optimizer.param_groups:
        param_group['lr'] = lr

在上面的代码中，我们根据自定义的学习率衰减策略，每10个epoch将学习率除以10。

如果以上方法都无效，可能有以下原因：

学习率调整的位置不正确：确保你在每个epoch或一定的步数后调用学习率调整器或手动更新学习率。学习率调整应在每个epoch周期末尾或每个batch结束后进行。

学习率调整器未正确绑定优化器：确保你将学习率调整器与正确的优化器绑定。学习率调整器的构造函数应接受优化器的参数。