如何测试RTX 5090显卡间的互联带宽？

Question

如何准确测试RTX 5090显卡间的NVLink互联带宽？在多卡并行计算场景下，用户常面临PCIe拓扑限制与NVLink实际传输速率不符的问题。现有工具如CUDA-Bandwidth或nccl-tests能否真实反映双向通信吞吐？如何区分是驱动瓶颈、BIOS设置还是物理连接导致的带宽下降？需结合nsight-systems进行链路层分析，并验证不同数据包大小下的有效带宽，确保测试环境排除CPU和内存瓶颈干扰。

Answer 1

一、NVLink带宽测试基础概念与常见误区

NVLink是NVIDIA为高性能GPU互连设计的高速互联技术，尤其在RTX 5090这类高端显卡上，支持多链路（如NVLink 4.0）实现高达1.8 TB/s的理论双向带宽。然而，在实际部署中，用户常发现测得的带宽远低于预期。其根本原因往往并非硬件缺陷，而是测试方法不当或系统瓶颈未排除。

• PCIe拓扑结构影响GPU间通信路径：若主板BIOS未启用最佳NUMA配置，数据可能被迫绕行CPU内存，导致延迟上升、带宽下降。
• 传统工具如cuda-bandwidth仅测试点对点传输，无法反映真实多卡并行场景下的拥塞情况。
• nccl-tests虽贴近分布式训练负载，但默认设置可能受CPU调度和内存复制开销干扰。

因此，准确评估NVLink性能需构建隔离性强、可重复的测试环境，并逐层排查潜在瓶颈。

二、测试环境搭建与前置条件验证

检查项	推荐值/状态	验证命令/工具
NVLink连接状态	Active Links ≥ 4 (RTX 5090)	nvidia-smi nvlink -g 0 -i 0
PCIe拓扑模式	Node Interleaving 或 UMA-I/O	dmidecode | grep -i interleave
CUDA驱动版本	≥ 12.6 (支持50系新特性)	nvcc --version
BIOSSetting: Above 4G Decoding	Enabled	UEFI Setup界面确认
CPU亲和性控制	taskset绑定至本地NUMA节点	numactl --cpunodebind=0 --membind=0
GPU P2P Access	Enabled (via nvidia-smi)	nvidia-smi topo -p2p r

三、核心测试工具对比与选择策略

现有主流工具在测量NVLink带宽时各有侧重：

1. cuda-bandwidth：提供细粒度的单向/双向带宽扫描，适合小包（32B~64MB）吞吐分析，但不模拟NCCL协议栈行为。
2. nccl-tests：all_to_all_perf 和 bandwidth_test 更接近真实AI训练通信模式，内置NVLink自动探测机制。
3. Nsight Systems：唯一能深入SM层面追踪GPU-to-GPU DMA流、显示NVLink链路利用率的可视化工具。

# 示例：运行nccl带宽测试（双卡）
mpirun -np 2 --bind-to socket \
  ./build/bandwidth_test \
  -b 1G -e 4G -f 2 -g 1

四、结合Nsight Systems进行链路层深度分析

使用Nsight Systems可捕获完整的GPU通信轨迹。关键观察点包括：

• DMA Engine活动频率与持续时间
• NVLink Link Utilization (%) 指标
• Host Memory Copy占比是否过高

graph TD A[启动nsys profile] --> B(nsys start -t cuda,nvtx,cublas) B --> C[执行nccl-tests] C --> D[nsys stop] D --> E[生成report.qdrep] E --> F[打开Nsight UI分析Timeline] F --> G[查看Kernel间P2P传输间隔] G --> H[定位NVLink空闲周期原因]

五、区分瓶颈来源：驱动、BIOS还是物理连接？

当实测带宽显著偏低时，应按以下流程诊断：

现象	可能原因	验证方式
NVLink link count < 4	桥接器不兼容或未插紧	更换SXM4桥接器重试
Bandwidth随packet size骤降	MTU协商失败	dmesg | grep nvlink
nsight显示频繁host bounce	GPU Direct RDMA禁用	echo 1 > /sys/module/nvidia/parameters/rdma_enabled
驱动日志报错NVLINK_DOWN	BIOS Power Limit过低	更新至最新BIOS并开启Performance Mode
仅特定GPU对异常	PCB trace阻抗失配	交换GPU位置复测
温度>90°C时降速	散热不足引发throttling	nvidia-smi dmon -s p

六、有效带宽验证与数据包大小敏感性测试

为全面评估NVLink性能，需覆盖从L2缓存线到HBM突发传输的全尺寸范围。建议采用如下测试矩阵：

import subprocess
sizes = ["1K", "8K", "64K", "512K", "4M", "32M", "256M", "2G"]
for sz in sizes:
    cmd = f"./build/bandwidth_test -b {sz} -e {sz} -f 1"
    result = subprocess.run(cmd, shell=True, capture_output=True, text=True)
    print(f"Size: {sz}, Output: {result.stdout}")

绘制“消息大小 vs 实测带宽”曲线，理想情况下应在64KB以上趋于平台期，若出现多个拐点，则提示存在协议切换或缓冲区瓶颈。