loss.backward后求grad

Question

遇到的问题：在loss.backward之后求grad，对A求梯度，is leaf: True，requires_grad: True，但是grad:为什么是None？

Answer 1

首先，需要保证对A进行的操作是可微分的，即对A进行的操作都可以在反向传播中求得其梯度。

其次，需要保证在调用loss.backward()函数之前，loss应该是一个标量。如果loss不是标量，可以先将其汇总为标量，例如通过对其进行求和或者平均等操作。

最后，可能是因为在执行loss.backward()时，存在已经被detach()的tensor或者函数。在这种情况下，grad将是None。解决办法是检查哪一个tensor或者函数产生了grad为None的问题，并尝试将其detach()改为requires_grad=False或者重新设计网络结构。