戈好雨 2018-11-08 02:57 采纳率: 0%
浏览 9248
已结题

为什么CNN的kernel和batch size是2的次幂？

我想在文章中解释一下网络的batch size参数选择原因，吴恩达在deep Learning中说过选择2的次幂可以加快二进制的计算，但没说具体的原因。
请问是什么原因，有没有相关的论文引用一下。

  • 写回答

2条回答 默认 最新

  • 钱多多先森 博客专家认证 2020-07-07 10:37
    关注

    链接：https://www.nowcoder.com/questionTerminal/832412088a4e4e2ab776330bf2a3ac53
    来源：牛客网

    机器学习训练时，Mini-Batch 的大小优选为2 的幂，如 256 或 512。它背后的原因是什么？

    Mini-Batch 为偶数的时候，梯度下降算法训练的更快

**Mini-Batch 设为 2 的幂，是为了符合 CPU、GPU 的内存要求，利于并行化处理**

不使用偶数时，损失函数是不稳定的

其他选项说法都不对
    评论

报告相同问题？

悬赏问题

  • ¥35 平滑拟合曲线该如何生成
  • ¥100 c语言，请帮蒟蒻写一个题的范例作参考
  • ¥15 名为“Product”的列已属于此 DataTable
  • ¥15 安卓adb backup备份应用数据失败
  • ¥15 eclipse运行项目时遇到的问题
  • ¥15 关于#c##的问题：最近需要用CAT工具Trados进行一些开发
  • ¥15 南大pa1 小游戏没有界面，并且报了如下错误，尝试过换显卡驱动，但是好像不行
  • ¥15 自己瞎改改，结果现在又运行不了了
  • ¥15 链式存储应该如何解决
  • ¥15 没有证书，nginx怎么反向代理到只能接受https的公网网站