mainzld 2022-09-03 21:38 采纳率: 60%
浏览 20

为什么残差连接中用的总是ReLU激活函数?

     最近看了一些带有残差连接的网络,发现残差连接所包围的部分，或者是残差连接上，使用的都是ReLU激活函数或者它的变体,想知道为什么没有人使用其他激活函数如Tanh呢？想知道这里有什么联系吗？
  • 写回答

1条回答 默认 最新

  • 万里鹏程转瞬至 人工智能领域优质创作者 2022-09-05 15:00
    关注

    深度学习模型普通都是使用relu系列的函数做激活函数，这与残差连接没有特殊关系。conv+bn+relu是最常见的模块结构了，这种结构更便于推理框架的优化加速（把conv+bn+relu整入一个计算单元中）

    评论

报告相同问题？

问题事件

  • 创建了问题 9月3日

悬赏问题

  • ¥15 关于模型导入UNITY的.FBX: Check external application preferences.警告。
  • ¥15 气象网格数据与卫星轨道数据如何匹配
  • ¥100 java ee ssm项目 悬赏，感兴趣直接联系我
  • ¥15 微软账户问题不小心注销了好像
  • ¥15 x264库中预测模式字IPM、运动向量差MVD、量化后的DCT系数的位置
  • ¥15 curl 命令调用正常，程序调用报 java.net.ConnectException: connection refused
  • ¥20 关于web前端如何播放二次加密m3u8视频的问题
  • ¥15 使用百度地图api 位置函数报错？
  • ¥15 metamask如何添加TRON自定义网络
  • ¥66 关于川崎机器人调速问题