显存和内存是什么区别

Question

我那个nvidia查出来的24G是我的显存吧？我下面htop查出来的MEM16G又是啥意思？我跑机器学习老是报错sigkill9给我中断了

Answer 1

显存通常是指显卡（GPU）上的内存，而不是系统内存。你提到的 "nvidia查出来的24G"，很有可能是你的显卡拥有24GB的显存。而在htop中的"MEM16G"指的是系统内存，即主机上的内存。

一些常见原因导致内存不足并可能引发SIGKILL信号：

1. 显存不足：如果你的机器学习任务使用的显存超过了显卡的容量，会导致SIGKILL信号。
2. 系统内存不足：如果系统内存（主机内存）不足以同时运行机器学习任务和其他应用程序，也可能导致SIGKILL。

• 减小批处理大小：尝试减小你机器学习模型中的批处理大小，以降低显存的使用。
• 释放内存：在训练过程中定期释放不再需要的变量、模型或缓存，以减少内存占用。
• 使用更小的模型：如果可能的话，考虑使用更小的模型，或者通过裁剪、量化等技术减小模型的规模。
• 监控内存使用：使用nvidia-smi等工具监控显存使用情况，使用htop或top监控系统内存使用情况，及时发现并解决问题。
• 资源规划：如果你在共享的系统上运行任务，确保你的任务得到足够的资源，避免与其他任务冲突。