weixin_43337647
复年年
2020-04-26 16:10
采纳率: 20%
浏览 655

求助:(Python)小白关于optimizer 的使用问题~

问题1

optimizer = torch.optim.SGD(filter(lambda p:p.requires_grad, net.parameters()),lr=lr, momentum=0.9, weight_decay=WD, nesterov=True) 

optimizer = optim.SGD(net.parameters(), lr=args.lr, momentum=args.momentum,weight_decay=args.weight_decay)

有什么区别么?
一个是值优化器更新net权重的更新梯度(?),一个是直接更新net权重??为什么要这样区别?有什么意义么?

问题2

优化器是默认根据定义到loss的内容与某一权重的求导关系来更新此权重的嘛?

  • 点赞
  • 写回答
  • 关注问题
  • 收藏
  • 邀请回答

1条回答 默认 最新

  • caozhy
    已采纳

    前面加上filter,只更新requires_grad==true的权重,这样可以效率高一些

    优化器是默认是算出梯度theta,指向loss最小的方向,来更新参数的

    点赞 评论

相关推荐