训练报错如下
RuntimeError: Default process group has not been initialized, please make sure to call init_process_group.
网上的教程也看了，有人说SyncBN替换成BN就行了，但我又不知道是哪个文件中的BN
有人说“统一是/否分布式训练”就可以了，但是又没说到底怎么统一
训练语言模型时出错RuntimeError
RuntimeError: Default process group has not been initialized, please make sure to call init_process_group.
网上的教程也看了，有人说SyncBN替换成BN就行了，但我又不知道是哪个文件中的BN
有人说“统一是/否分布式训练”就可以了，但是又没说到底怎么统一
- 写回答
- 好问题 0 提建议
- 追加酬金
- 关注问题
分享- 邀请回答
-
5条回答 默认 最新
技术宅program 2023-06-30 22:32关注你使用的分布式训练,但是没有正确初始化分布式环境导致的，用SyncBN来替换BN,是因为SyncBN与DistributedDataParallel天生兼容，“统一是/否分布式训练”指的是,所有GPU和进程都使用相同的分布式模式来训练，torch.distributed.init_process_group(backend="nccl")试下
本回答被题主选为最佳回答 , 对您是否有帮助呢?解决 无用评论 打赏举报 分享
- 2022-07-20 19:00回答 2 已采纳 瞅瞅行不行https://blog.csdn.net/balcklist/article/details/119033591
- 2022-07-21 21:48回答 1 已采纳 用管理员模式运行 cmd 或者 powershell，然后再运行 jupyter 试试。 或者开启开发者模式：https://consumer.huawei.com/en/support/conten
- 2023-03-20 18:13回答 2 已采纳 你的batch大小不匹配，修改下，要一致
- walker_Tjj的博客 训练模型时报错，记录一下。这个错误是现存模型过大，GPU显存不足导致的错误，此时只需要将batch-size改小即可：128->64, 64-->32等等。
- 2023-03-15 10:55回答 3 已采纳 该回答引用GPTᴼᴾᴱᴺᴬᴵ这个错误提示表明你的 PyTorch 模块是使用 API 版本 0x10 编译的，但是当前安装的 NumPy 版本的 API 版本是 0xf。这通常是由于 NumPy 版本
- 2022-04-12 16:34回答 1 已采纳 降低batchsize的大小，例如8 16
- 2022-01-13 03:53
训练bilstm模型，报错 RuntimeError: input.size(-1) must be equal to input_size. Expected 768, got 128，求解？
lstm
nlp
python
回答 1 已采纳 self.lstm = nn.LSTM的input_size改成768 - 2022-11-19 10:51加勒比海带66的博客 知识经验分享——YOLOv5-6.0训练出错及解决方法：RuntimeError: result type Float can't be cast to the desired output type long int
- 2022-10-09 20:58回答 1 已采纳 超时错误，输入数据input_data的维度必须是三维，检查下数据
- 2023-03-29 11:32回答 2 已采纳 Runtime Error通常是因为程序在运行过程中发生了一些异常错误，例如数组越界、空指针引用等。在本地运行没有问题，但在openjudge上出现错误，可能是因为openjudge测试数据不同于你本
- 2023-04-11 16:20回答 3 已采纳 该回答通过自己思路及引用到GPTᴼᴾᴱᴺᴬᴵ搜索,得到内容具体如下： 根据报错信息，问题似乎出现在dtype_promotion函数中。dtype_promotion函数用于计算两个张量的数据类型，以
- 2023-07-17 21:42herry_drj的博客 RuntimeError: Input type (torch.cuda.FloatTensor) and weight type (torch.FloatTensor) should be the same CUDA error: device-side assert triggeredRuntimeError: Expected all tensors to be on the same ...
- 2022-01-21 15:04回答 1 已采纳 维度不匹配。他希望你该层的输入为[32, 512, 38, 38]，32位batch size，512为通道数，后面两位是H和W，但是你的卷积之后的通道数在该层只有64通道，16 batch size
- 2024-08-13 16:38TZfool的博客 Windows下启动Xinference报错 RuntimeError: Cluster is not available after multiple attempts的解决方式
- 2023-04-03 21:07zhen的不会敲的博客 报错 我在RTX 3090上训练YOLOv5时报错如下 报错分析过程 我第一感觉就是不是torch是不是装成了cpu版本，然后我去测试了一下，结果如下 这么一看torch就是GPU版本的，然后我就想是不是cuda和torch版本不兼容（我的...
- 没有解决我的问题, 去提问
问题事件
系统已结题
7月11日
已采纳回答
7月3日-
修改了问题
6月27日
-
创建了问题
6月26日
悬赏问题
- ¥15 mysql将查询的结果作为动态列名怎么实现
- ¥50 python自动地图截图脚本
- ¥15 悬赏一本书（内含Matlab代码）的书名、作者
- ¥20 瑞萨RA4M1芯片刷写为arduino r4 minima
- ¥15 前端vue跟后端java服务部署在线上阿里云服务器
- ¥15 fastreport怎么判断当前页数
- ¥15 Kylin-Desktop-V10-GFB-Release-JICAI_02- 2207-Build14-ARM64.iso有没有这个版本的系统啊
- ¥15 能不能通过蓝牙将传感器数据传送到手机上
- ¥20 100元python和数据科学实验项目
- ¥15 根据时间在调用出列表