我最近在用GPU训练一个pytorch的模型,遇到了一些问题。
同样的参数我想要训练模型多次,对模型的ap取平均值,但是遇到了一个问题,第二次训练完完全全是对第一次训练结果的重复,第二次训练的第一个epoch,跟第一次训练的第一个epoch,loss值、ap值完全相同,以此类推,最后得到的结果也一模一样
这张图是第一次训练的第一个epoch结果
这张图是第二次训练的第一个epoch结果
可以看到结果完全是一样的(模型可以正常收敛的,多次训练的最终结果也完全一样)
用cpu训练就完全没有这个问题,求各位大佬解答,现在都不知道GPU这样跑出来的结果是不是可靠的。