多GPU数据并行训练的加速原理到底是什么？

Question

每个batch其实后面都要求平均梯度再反向传播，所以感觉多GPU优势就是得到一个更小的学习率？

Answer 1

没错，本质是learning rate，且每个batch其实后面都要求平均梯度再反向传播，

多gpu时每个batch的data多了，这时，

每个batch的learning rate不变则每个data的learning rate变小，

每个data的learning rate不变则每个batch的learning rate变大，

最终就是允许更大的总learning rate。