为什么两张显卡同时跑一个TensorFlow程序，速度小于一张显卡？

Question

显卡为750ti、p106-90。

其中p106-90我使用了PCIE 1x转16x的线，是不是转接线的传输速率低下造成两张效果劣于一张的情况？

Answer 1

两个卡的性能差距本来就很大，起码差2x，而性能好的P106你又用x1的插槽，这些都是不利的因素。
而且tf本身又分任务并行和数据并行，不同的代码，差别很大，当你训练模型设计不当，很容易造成性能低下。
为了发挥多gpu的性能，最好用双xeon平台，因为每个处理器都有自己独立的pcie通道，才不会发生总线的竞争。