本人新手,刚开始学习神经网络,用cnn网络做一个二分类的任务,网络很浅,两层卷积和一层全连接,在调参过程中发现,一开始用较小的batchsize,训练集准确率一开始就是100%,而测试集效果很差,而且loss也比较大(以为就是过拟合);后来改用较大batchsize,发现loss可以变得很小,但是训练集准确率就变得很低,但是训练次数多了之后能看出在缓慢增长,测试集准确率也能有一点点的提升,但是也就比50%高一点..
小batchsize =64,loss和准确率
大batchsize =256,loss和准确率
求大神们给出帮助,提供调参的经验,谢谢!!