ゞ 灰酱
2020-12-13 23:14
采纳率: 100%
浏览 174
已采纳

有没有必要每层卷积后都接ReLU?

有没有必要每层卷积后都接ReLU?

刚刚入门Paddle的小白求教~

大佬们救救~

  • 写回答
  • 关注问题
  • 收藏
  • 邀请回答

3条回答 默认 最新

  • 野狗道格 2020-12-14 10:40
    已采纳

    一般来说是需要的,神经网络为何如此强大的原因一部分就归结于其引入了激活函数,使得函数经过隐藏层之间的层层调用,变成了线性可分,神经网络为何如此强大的原因一部分就归结于其引入了激活函数,使得函数经过隐藏层之间的层层调用,变成了线性可分。

    preview

    但是一些特殊的也可以不加,比如自然语言处理里面的word2vec的隐藏层就没有激活函数,直接softmax输出。

    已采纳该答案
    打赏 评论
  • 玖尾妖熊 2020-12-14 10:16

    理论上是需要的,网络的本质还是矩阵运算,n*m 和m*p,p*q不加激活依次相乘的结果其实是n*m与m*q相乘

    打赏 评论
  • 刘劲松1 2020-12-14 14:00

    区分层的标志就是非线性激活函数。。当然你也可以不加,但是加了没什么损失啊,relu计算量这么小。。。

    打赏 评论

相关推荐 更多相似问题