pytorch gpu训练模型速度越来越慢

Question

大佬们，我用gpu训练模型随着时间增长越来越慢，我看了显存占用一直保持一个均衡值，所以不是显存对速度产生影响。刚开始训练每秒十几个batch，后面降成了一个batch一秒，请问能从那几个方面去排查问题？