有没有必要每层卷积后都接ReLU?

Question

有没有必要每层卷积后都接ReLU?

刚刚入门Paddle的小白求教~

大佬们救救~

Answer 1

一般来说是需要的，神经网络为何如此强大的原因一部分就归结于其引入了激活函数，使得函数经过隐藏层之间的层层调用，变成了线性可分，神经网络为何如此强大的原因一部分就归结于其引入了激活函数，使得函数经过隐藏层之间的层层调用，变成了线性可分。

但是一些特殊的也可以不加，比如自然语言处理里面的word2vec的隐藏层就没有激活函数，直接softmax输出。