mainzld 2022-09-03 21:38 采纳率: 60%
浏览 25

为什么残差连接中用的总是ReLU激活函数?

     最近看了一些带有残差连接的网络,发现残差连接所包围的部分，或者是残差连接上，使用的都是ReLU激活函数或者它的变体,想知道为什么没有人使用其他激活函数如Tanh呢？想知道这里有什么联系吗？
  • 写回答

1条回答 默认 最新

  • 万里鹏程转瞬至 领域专家: 人工智能技术领域 2022-09-05 15:00
    关注

    深度学习模型普通都是使用relu系列的函数做激活函数，这与残差连接没有特殊关系。conv+bn+relu是最常见的模块结构了，这种结构更便于推理框架的优化加速（把conv+bn+relu整入一个计算单元中）

    评论

报告相同问题？

问题事件

  • 创建了问题 9月3日