pytorch训练时gpu利用率太低

Question

如图 用pytorch训练一个还比较轻量级的目标检测网络，训练图片只有3000张左右。发现GPU利用率几乎一直在10%以下，cpu在40-50%,内存在90%左右。请问该怎么提高GPU利用率减少训练时间？

Answer 1

number work和batch size调大，不过估计没用，你的瓶颈目前在内存，你这内存不够,调整再大也塞不下。至于为什么你的GPU利用率低，原因在于GPU利用率是一段时间内的平均利用率，在计算的时候高，显卡计算比较快，但是等待IO数据的过程相当于空闲，空闲的时间多了，平均利用率不就下来了？