pytorch-lighting 多卡训练
一万张数据集,三卡,batch_size为2,结果最后他会训练5000轮(甚至还会加个1892的常数),我打印训练时的图片读取路径,发现他最后会用两万多张图片,问题我只有10000张!!
是他这个轮数认识不到卡的区别吗,我用一张卡的时候就基本正常,除了多了一个常数
pytorch-lighting 多卡训练
一万张数据集,三卡,batch_size为2,结果最后他会训练5000轮(甚至还会加个1892的常数),我打印训练时的图片读取路径,发现他最后会用两万多张图片,问题我只有10000张!!
是他这个轮数认识不到卡的区别吗,我用一张卡的时候就基本正常,除了多了一个常数
多卡训练之前,先确保batch-size大于显卡数目。
另外,你三张卡什么鬼,要么双路,要么四路,三张卡很少情况,分配都如双数的卡好分