torch.autograd.functional 计算海森矩阵全是0

Question

请问torch.autograd.functional中调用海森矩阵进行计算，结果全是0，雅克比矩阵计算就没问题，就是多求了一次梯度，这是为什么呢，我应该从哪个角度查找问题？

from torch.autograd.functional import jacobian, hessian

Answer 1

让阿豪来帮你解答，本回答参考chatgpt3.5编写提供，如果还有疑问可以评论或留言

问题分析及解决方法：

1. 首先要确认是否确实调用了torch.autograd.functional中的hessian函数进行海森矩阵计算，而非误调用了其他函数。
2. 检查是否提供了正确的输入参数，包括函数、输入、输出等参数是否正确。
3. 确认输入函数是否具有二阶导数。如果输入的函数具有高次导数连续性不好或存在不可导点，可能导致海森矩阵计算结果为0。
4. 检查输入的参数是否需要进行requires_grad=True的设置，以确保梯度计算的正确性。
5. 检查是否需要设置retain_graph=True，以确保反向传播过程中临时计算图的保留。
6. 如果以上几点都没有问题，可以尝试通过手动计算海森矩阵来验证代码的正确性。 下面是一个可能出现该问题的示例代码：

import torch
from torch.autograd.functional import jacobian, hessian
# 定义一个简单的函数
def my_func(x):
    return x**2
x = torch.tensor([2.0], requires_grad=True)
# 计算雅克比矩阵
jac = jacobian(my_func, x)
print(jac)
# 计算海森矩阵
hess = hessian(my_func, x)  # 结果可能为0
print(hess)

以上示例代码中，由于函数my_func为一阶导数为2x，二阶导数为2，因此海森矩阵计算结果应为2，如果结果为0，则可能有问题。可以按照以上方法逐步排查问题所在。