weixin_41980210 2021-04-25 02:16 采纳率: 71.4%
浏览 372
已采纳

我利用torch搭建了一个神经网络但是需要神经网络的输出控制在0-1之间训练后发生了梯度消失

class NN1(nn.Module):
    def __init__(self, d_in, d_hidden, d_out):
        super(Actor, self).__init__()
        self.linear1 = nn.Linear(d_in, d_hidden)
        self.linear2 = nn.Linear(d_hidden, d_hidden)
        self.linear3 = nn.Linear(d_hidden, d_hidden)
        self.linear4 = nn.Linear(d_hidden, d_hidden)
        self.linear5 = nn.Linear(d_hidden, d_out)


    def forward(self, x):
        x = self.linear1(x)
        x = F.sigmoid(x)
        x = self.linear2(x)
        x = F.sigmoid(x)
        x = self.linear3(x)
        x = F.sigmoid(x)
        x = self.linear4(x)
        x = F.sigmoid(x)
        x = self.linear5(x)
        x = F.relu(x)
        output = x.type(torch.float64)
        return output

肯定的是softmax是不能用的(需求原因),我查了能输出在0-1之间的激活函数只有Sigmoid。

跑出来结果收敛不了,收敛图一直在横幅震荡没有梯度。

我查了有关资料,说是Sigmoid和tanh都是会产生梯度消失的,请问大佬们有没有办法将relu的输出控制在0-1之间或者有别的办法,小弟毕业论文很赶跪谢...

  • 写回答

1条回答 默认 最新

  • 影醉阏轩窗 2021-04-25 14:25
    关注

    1. 把loss函数也放出来看看

    2. 先把中间的sigmoid改成Relu(或者其他变种),最后一层使用sigmoid

    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论

报告相同问题?

悬赏问题

  • ¥15 如何在配置使用Prettier的VSCode中通过Better Align插件来对齐等式?(相关搜索:格式化)
  • ¥15 C#字典调用时报错,有关文件加载
  • ¥100 在连接内网VPN时,如何同时保持互联网连接
  • ¥15 MATLAB中使用parfor,矩阵Removal的有效索引在parfor循环中受限制
  • ¥20 Win 10 LTSC 1809版本如何无损提升到20H1版本
  • ¥50 win10 LTSC 虚拟键盘不弹出
  • ¥30 关于PHP中POST获取数据的问题
  • ¥30 微信小程序请求失败,网页能正常带锁访问
  • ¥15 Python实现hog特征图可视化
  • ¥30 德飞莱51单片机实现C4炸弹