pytorch：y = identity(x) 和 y = x 两种操作在反向求导是不是没区别？

Question

问了gpt这个问题，给出的答案如下：

假设有两个变量 x 和 y，它们的值分别为 2 和 3，而 z = y * identity(x)。则有：

z = y * identity(x) = 3 * identity(2) = 3 * 2 = 6
dz/dy = identity(x) = 2
dz/dx = y * d(identity(x))/dx = 3 * 1 = 3
而如果使用 y = x，则有：

z = y * x = 3 * 2 = 6
dz/dy = x = 2
dz/dx = y = 3

二者在反向传播上是否没有区别？区别貌似identity函数类似深拷贝？

Answer 1

参考GPT和自己的思路：在反向传播时，y = identity(x) 和 y = x 两种操作是没有区别的，因为它们在计算图中的梯度都是1。在PyTorch中，两者的计算图不同，但是它们的结果相同，因此可以认为它们是等价的。无论使用哪种操作，都能正确地计算梯度。而identity函数并不类似于深拷贝，它只是把输入直接返回，不做任何处理。