pytorch mac mps加速比cpu还慢？

Question

目前在学习深度学习的相关内容，用的设备是mac m2芯片 ，下载的anaconda和pytorch都是mac版本的，有mps相关支持。但是对比下来发现torch的cpu模式比mps模式快大概3-5倍，这是为什么啊。有没有人遇到过相同的问题呢？

Answer 1

该回答引用GPTᴼᴾᴱᴺᴬᴵ

可能是由于M2芯片的架构不同于常见的x86架构，所以在使用MPS加速的过程中，一些常见的优化技巧可能不再适用，反而会导致额外的计算和通信开销，从而导致性能下降。

此外，由于MPS是一个相对较新的技术，可能还存在一些问题和限制，比如不支持某些操作或者某些网络结构，这也可能导致在使用MPS时性能没有提升甚至下降。

针对这个问题，建议你可以尝试以下几个方案：

1. 评估不同的网络结构和操作对MPS的支持程度，找到适合MPS的网络结构和操作，避免不必要的开销。
2. 尝试升级你使用的PyTorch版本或者MPS版本，以获取更好的性能表现。
3. 如果你的问题在GPU上表现得很好，可以考虑在GPU上运行模型，而不是在MPS上运行。
4. 如果你的问题在CPU上表现得更好，那么你可以直接使用CPU模式。

希望这些建议能够帮助你解决问题。