module 'torch.optim.lr_scheduler' has no attribute 'LRScheduler'

Question

AttributeError: module 'torch.optim.lr_scheduler' has no attribute 'LRScheduler'
用的pytorch是1.13.1+cu116的

HELP! 这个该怎么解决呢？升级torch吗？还是怎么解决呢？

（torch版本是1.12.0的时候没有出现这个问题，但是更新到1.13.1就出现这样的问题了 捣鼓好久了都没有解决

Answer 1

引自免费微信小程序：皆我百晓生

遇到module 'torch.optim.lr_scheduler' has no attribute 'LRScheduler'这个错误，通常是因为在尝试访问LRScheduler时，它并不是一个直接的属性或类成员。在PyTorch中，LRScheduler实际上是一个抽象基类，并不直接作为torch.optim.lr_scheduler模块的一个可实例化的类存在。

在PyTorch中，学习率调度器（Learning Rate Scheduler）都是继承自LRScheduler基类的子类，比如StepLR, MultiStepLR, ExponentialLR, 等等。因此，直接引用LRScheduler并将其当作一个具体的类来实例化是不正确的。

如果你看到的代码尝试这样做：

scheduler = torch.optim.lr_scheduler.LRScheduler(optimizer, ...)

这将引发AttributeError，因为LRScheduler不能被这样实例化。

解决方案

确保你使用的是一个具体的调度器类，而不是LRScheduler基类。例如，如果你想要一个每一定步数降低学习率的调度器，你应该使用StepLR：

from torch.optim.lr_scheduler import StepLR

optimizer = torch.optim.SGD(model.parameters(), lr=0.1, momentum=0.9)
scheduler = StepLR(optimizer, step_size=30, gamma=0.1)

这里，step_size定义了学习率下降的周期，而gamma定义了学习率下降的比例。

代码审查与修改建议

对于你提供的代码片段，看起来像是在尝试从PyTorch和Pyro中导入各种优化器和调度器。然而，由于直接引用LRScheduler导致错误，这部分代码可能需要进行修改。具体来说，应该避免直接引用LRScheduler，而是引用具体的调度器类，例如StepLR、MultiStepLR等。

确保你的代码中替换所有对LRScheduler的直接引用为具体的调度器类，例如：

from torch.optim.lr_scheduler import StepLR  # 或者 MultiStepLR, ExponentialLR 等

# 其他代码保持不变...
scheduler = StepLR(optimizer, step_size=30, gamma=0.1)

总结

• 避免直接引用和实例化LRScheduler。
• 使用具体的调度器类，如StepLR、MultiStepLR等。
• 确保你的代码中所有调度器的引用都被更改为具体的类。

这样修改后，你的代码应该能正确运行而不触发AttributeError。