为什么CNN的kernel和batch size是2的次幂？

我想在文章中解释一下网络的batch size参数选择原因，吴恩达在deep Learning中说过选择2的次幂可以加快二进制的计算，但没说具体的原因。
请问是什么原因，有没有相关的论文引用一下。

写回答
好问题 0 提建议
追加酬金
关注问题
分享
邀请回答
编辑收藏删除
收藏举报

2条回答

关注

码龄粉丝数原力等级 --

被采纳

被点赞

采纳率
钱多多先森博客专家认证 2020-07-07 10:37
关注
链接：https://www.nowcoder.com/questionTerminal/832412088a4e4e2ab776330bf2a3ac53
来源：牛客网

机器学习训练时，Mini-Batch 的大小优选为2 的幂，如 256 或 512。它背后的原因是什么？

Mini-Batch 为偶数的时候，梯度下降算法训练的更快 **Mini-Batch 设为 2 的幂，是为了符合 CPU、GPU 的内存要求，利于并行化处理** 不使用偶数时，损失函数是不稳定的其他选项说法都不对
解决无用
评论打赏
分享
举报

评论

按下Enter换行，Ctrl+Enter发表内容

报告相同问题？

关注问题

batch_id是什么意思？ python
2022-07-25 16:55

回答 2 已采纳循环变量。是同时变化的enumerate() 函数用于将一个可遍历的数据对象(如列表、元组或字符串)组合为一个索引序列，同时列出数据和数据下标https://www.runoob.com/python
模型的batch_size与层的batch_size不一致，该怎么办呢？ batch python tensorflow
2023-04-07 15:25

回答 1 已采纳在tensorflow中，如果一个层没有指定输入的batch_size，则该层的输出将自动采用输入张量的batch_size，这意味着如果你的输入张量的batch_size为None，则输出也将是No
ValueError: Expected input batch_size (1) to match target batch_size (0). python
2022-05-31 13:41

回答 1 已采纳可以参考解决ValueError: Expected input batch_size () to match target batch_size ().问题_小破船Z
什么是CNN？理论介绍与简单实践
2023-10-09 15:09

乐凯的博客的博客 CNN的理论介绍与简单实践
我们代码里的learning rate是一个batch总的学习率还是一个data的学习率？ tensorflow 人工智能深度学习
2021-04-28 16:06

回答 1 已采纳 batch总的学习率
CNN网络2分类失败 cnn 有问必答深度学习网络
2022-09-01 00:20

回答 2 已采纳因为你返回的数据都是只有一个类别的r'dragon'，训练时的标签一直是[1,0]，所以模型针对任何数据的输出都是1,0。你应该修改一下你的数据加载器。你可以先参考一下我的博客Pytorch 2 迁移
yolov5为什么默认要训练300次这么多人工智能深度学习神经网络
2021-04-05 20:56

回答 2 已采纳 mmdetection没试过，但是yolov5默认300多次是因为人家是在coco数据集上面训练的，而你看yolov5的主页，里面的各个模型的对比可以看出来，基本上都是300epoch的时候达到较好的
PSO粒子群优化CNN-优化神经网络神经元个数dropout和batch_size等超参数
2022-08-19 22:58

AI信仰者的博客本文主要讲解：PSO粒子群优化-CNN-优化神经网络神经元个数dropout和batch_size，
batch_normalization和layer_normalization的区别？ opencv
2022-12-09 09:40

回答 1 已采纳前者再normalize的时候是在batch的方向，后者在normalize的时候是句子的方向。
模型训练batchsize大小设置的理解 lstm 深度学习神经网络
2022-01-20 11:34

回答 1 已采纳按照你的想法应该是1，但如果你了解下batchsize是干什么用的，你就会知道设置成1并没有什么好处，返回容易导致过拟合现象
为什么sta一直获取不到IP(标签-batch|关键词-view) 华为网络
2023-03-28 20:45

回答 1 已采纳 [AC-wlan-vap-prof-ssid_name]service-vlan vlan-id 3没看见你的vlan3的用户地址池
【深度学习】卷积神经网络CNN TextCNN
2022-03-11 22:56

myaijarvis的博客【参考：卷积核（kernel）和过滤器（filter）的区别_xu.hyj-CSDN博客】一维卷积【参考：深度学习面试题09：一维卷积（Full卷积、Same卷积、Valid卷积、带深度的一维卷积） - 黎明程序员 - 博客园】【参考：卷积...
如何在Change Stream Watch API（Mongo-Go-Driver）中设置batchSize？ mongodb
2018-10-06 19:22

回答 1 已采纳 This looks like a bug in the current mongo-go-driver (v0.0.16) where the batchSize option is passe
关于CNN卷积神经网络与Conv2D标准卷积的重要概念
2024-01-06 21:05

花花少年的博客关于CNN卷积神经网络与Conv2D标准卷积的重要概念
CNN中2d卷积算子的分析与实验
2021-03-15 15:53

智慧的旋风的博客和GNN不同，各种不同CNN模型的卷积操作都是一致的，即（在pytorch中）都是用函数torch.nn.Conv2d为基础来构建整个模型（只不过卷积的参数略有区别），具体模型结构可以。因此，使用何种模型进行实验反而不那么重要了...
没有解决我的问题, 去提问

悬赏问题

¥15 YoloV5 第三方库的版本对照问题
¥15 请完成下列相关问题！
¥15 drone 推送镜像时候 purge: true 推送完毕后没有删除对应的镜像,手动拷贝到服务器执行结果正确在样才能让指令自动执行成功删除对应镜像，如何解决？
¥15 求daily translation（DT）偏差订正方法的代码
¥15 js调用html页面需要隐藏某个按钮
¥15 ads仿真结果在圆图上是怎么读数的
¥20 Cotex M3的调试和程序执行方式是什么样的？
¥20 java项目连接sqlserver时报ssl相关错误
¥15 一道python难题3
¥15 牛顿斯科特系数表表示