不一样的显卡，在caffe中跑相同的网络，配置文件、参数、数据集完全相同，为什么训练结果相差特别多？

gtx1070和gtx660，两个显卡，分别在caffe中跑相同的网络，配置文件、参数、数据集完全相同，为什么训练结果相差特别多，1070的训练损失特大，准确率与瞎猜差不多，反而是660的老显卡准确率0.9以上，请问有这是正常情况吗，难道根据显卡的配置不同，网络的参数调节也要有很大的不同吗？