torch.multiprocessing.spawn.ProcessExitedException: process 1 terminated with signal SIGKILL

Question

运行mask2former进行训练，使用8张GPU进行分布式训练，每次训练完一轮进行验证后都出现这个问题，50次迭代和5000次迭代测试都会出现这个问题，改过batch也没用。2.4的torch,3.9的python
raise ProcessExitedException(
torch.multiprocessing.spawn.ProcessExitedException: process 1 terminated with signal SIGKILL
(mask2former) liuhj@liuhj-NF5468M5:~/workspace/lhj/Mask2Former-main$ /home/liuhj/anaconda3/envs/mask2former/lib/python3.9/multiprocessing/resource_tracker.py:216: UserWarning: resource_tracker: There appear to be 320 leaked semaphore objects to clean up at shutdown

Answer 1

以下回复引自免费微信小程序：皆我百晓生。 如问题解决，还请采纳。如仍有疑问，请回复留言或私信博主，以便获得更精准的帮助。

问题描述：在深度学习中，当使用多进程进行训练时，由于网络参数的更新导致模型停止训练，并且多次迭代测试也出现类似的问题。尝试修改网络结构、减少网络参数、增加网络参数等方法都无法解决问题。请提供具体代码示例来帮助诊断并解决这个问题。