有空闲GPU却无法使用

Question

RuntimeError: CUDA out of memory. Tried to allocate 2.15 GiB (GPU 0; 12.00 GiB total capacity; 520.39 MiB already allocated; 8.51 GiB free; 1.30 GiB reserved in total by PyTorch) If reserved memory is >> allocated memory try setting max_split_size_mb to avoid fragmentation. See documentation for Memory Management and PYTORCH_CUDA_ALLOC_CONF

只是为啥了，8.5G空闲GPU用不了

Answer 1

可以参考一下

CUDA out of memory（然鹅明明还有空间）_联邦学习小白的博客-CSDN博客 模型跑完想再跑一遍的时候居然给我报“CUDA out of memory”，很明显，我的显卡虽然菜，但起码还是可以跑的，毕竟刚跑完，那就可能是python在运行完以后没有释放资源，导致GPU的内存满了。如果是这样的话，那解决的方法就很简单了，直接把进程杀死就行。首先在C:\Program Files\NVIDIA Corporation\NVSMI位置打开命令行，然后输入nvidia-smi（也可以用nvidia-smi.exe -l 1，每秒更新CUDA使用情况），显示当前gpu的使用情况如下：显 https://blog.csdn.net/weixin_42534493/article/details/120329976

你先nvidia-smi查看一下gpu占用情况，把没正常退出的程序kill掉