求助：（Python）小白关于optimizer 的使用问题~

Question

问题1：

optimizer = torch.optim.SGD(filter(lambda p:p.requires_grad, net.parameters()),lr=lr, momentum=0.9, weight_decay=WD, nesterov=True) 

与

optimizer = optim.SGD(net.parameters(), lr=args.lr, momentum=args.momentum,weight_decay=args.weight_decay)

有什么区别么？
一个是值优化器更新net权重的更新梯度（？），一个是直接更新net权重？？为什么要这样区别？有什么意义么？

问题2：

优化器是默认根据定义到loss的内容与某一权重的求导关系来更新此权重的嘛？

Answer 1

前面加上filter，只更新requires_grad==true的权重，这样可以效率高一些

优化器是默认是算出梯度theta，指向loss最小的方向，来更新参数的