有个小的linux集群，两个节点四张显卡，现在可以用mpi连接两个节点，
目前只能利用cuda调用到两张卡来进行并行计算，如果要用上四张卡，
是不是得用到cuda上面的stream来（不知道这样表述对不对），还是有什么别的方法？
有没有办法使得mpi直接识别这四张卡？
欢迎大家畅所欲言哈。
两个节点四张显卡调用问题。
- 写回答
- 好问题 0 提建议
- 追加酬金
- 关注问题
分享- 邀请回答
-
1条回答 默认 最新
threenewbee 2018-04-09 10:01关注NVLink 和 NVSwitch
https://www.nvidia.com/zh-cn/data-center/nvlink/解决 无用评论 打赏举报 分享
- 2022-10-28 20:25回答 2 已采纳 cur_a = cur_a.next if cur_a else headB 等价于if cur_a: cur_a = cur_a.nextelse: cur_a = headB不过话说回
- 2019-08-23 10:08回答 1 已采纳 Kademlia is an abstract routing algorithm combined with a set of operations required to build a di
- 2015-01-01 18:25回答 5 已采纳 http://leaver.me/archives/2561.html
- 2020-12-29 06:31香菜加馍的博客 指定一个gpu训练的两种方法：1.代码中指定import torchtorch.cuda.set_device(id)2.终端中指定CUDA_VISIBLE_DEVICES=1 python 你的程序其中id就是你的gpu编号二. 多gpu并行训练：torch.nn.DataParallel(module, ...
- 2022-01-24 19:34回答 1 已采纳 修改如下，供参考： #include <stdio.h> #include <stdbool.h> #include <stdlib.h> typedef int
- 2018-06-12 11:16回答 2 已采纳 必须要图片，只能用一个空的代替 ``` using System; using System.Collections.Generic; using System.ComponentMod
- 2023-02-18 11:43回答 1 已采纳 写成jd* cz_bh()，这是函数申明，当然啥也不会执行写成ch_bh()，这是函数调用，在这里调用ch_bh函数，当然会执行啊=======86行你只是调用了ch_bh()函数，但你没有接收这个函
- 2023-06-21 13:06norlan_jame的博客 现在我们想探究一下，在QNX hypervisor下（高通基线1.2.1，内核版本5.4），android侧的这两个文件节点是如何生成的.要确定文件节点生成的过程就需要知道确切的驱动源码目录，所以第一步是先确定显卡的驱动目录。一般...
- 2022-10-18 15:58回答 2 已采纳 需要再加一个group.addShape('text')来添加方框里的文字
- 2023-04-22 12:33回答 1 已采纳 第一个while循环是：如果遇到头结点的数据就是偶数的话，那么就要把头结点删除，一直删除到头结点的数据不是偶数为止。注意，这个过程只是保证头部的偶数删除点，并没有把全部的偶数删除。这保证了后续操作的时
- 2022-06-13 15:55回答 2 已采纳 可以 找个 线上的 模仿
- 2023-03-21 16:19嘉晚乃贝是会发光的偶像的博客 如果你想让模型在两个GPU 上进行训练，你需要使用分布式训练。在PyTorch中，可以使用。这样，你就可以在两个GPU上进行训练了。注意，你需要在命令行中使用。指定每个节点使用的GPU数量。指定使用哪些GPU进行训练，...
- 2019-12-11 15:17回答 1 已采纳 ``` Node* phead, * p, * q, * s, * t; if (head1->data > head2->data) {
- 2020-12-19 20:21weixin_39668527的博客 PyTorch构建了两种在多个GPU中实施分布式训练的方法：nn.DataParalllel和nn.DistributedParalllel。它们是包装和更改代码以及增加在多个GPU中训练网络的功能的简单方法。nn.DataParallel更容易使用，但只需要在一台...
- 2023-06-27 21:09Asunazhang的博客 Ｈ３Ｃ平台部署chatGLM2-6B并且通过两块ＧＰＵ调用
- 没有解决我的问题, 去提问
悬赏问题
- ¥15 Power query添加列问题
- ¥50 Kubernetes&Fission&Eleasticsearch
- ¥15 有没有帮写代码做实验仿真的
- ¥15 報錯：Person is not mapped，如何解決？
- ¥30 vmware exsi重置后登不上
- ¥15 c++头文件不能识别CDialog
- ¥15 Excel发现不可读取的内容
- ¥15 关于#stm32#的问题：CANOpen的PDO同步传输问题
- ¥20 yolov5自定义Prune报错，如何解决？
- ¥15 电磁场的matlab仿真