yolov5训练模型时遇到nan

Question

今天遇到了一个问题，我在训练yolov5模型的时候，选择的权重文件是用yolov5s.pt文件 (GPU)正常运行，但是我换了大一点的yolov5m.pt训练的时候，我的全部数据都变nan， 接着我尝试换cpu跑yolov5m.p，数据和模型又恢复正常，接着我换更小的权重yolov5n.pt(使用GPU跑）模型和数据正常了 。
我的猜想是显卡的性能问题限制了权重模型的选择（个人使用的是mx450 2g），但是奇怪的是跑的时候却没有报关于显存的问题。
我看到博客上相关问题很少，但是我依然不解。
另外，我今天还遇到另外一个问题，我在划分训练集和验证集的时候选择的比例是7:3模型跑第一轮快80%之前都正常，但是到80%-100% 数据就全部变成nan，接着我换了6:4的比例重新运行，数据又恢复了正常。
希望有经验或者类似经历的小伙伴能够给我解答。

Answer 1

很遗憾，我无法确定你遇到的问题的原因。在没有更多的信息的情况下，我只能给出一些潜在的建议。

---

首先，如果你发现模型使用更大的权重文件时在 GPU 上运行会导致数据全部变为 nan，可能是因为你的 GPU 显存不足以运行这个模型。你可以检查 GPU 的显存使用情况，以确定是否有这个问题。

---

其次，如果你发现训练过程中数据全部变为 nan 并且改变训练集和验证集的划分比例后又恢复了正常，可能是因为你的数据集中有某些异常数据，导致模型在训练过程中出现了问题。你可以尝试检查数据集中是否有损坏的图像或者其他的异常数据，并将它们从数据集中删除。