请问如何查看服务器的sm利用率啊？

Question

比如用nsight或者nvidia-smi这些指令啥的，要查看所有sm的利用率。

比如我的rtx4090有128个sm，如何查看这128个sm每个利用率是多少？

Answer 1

以下回复参考：皆我百晓生、券券喵儿等免费微信小程序作答:

如果你想查看服务器上的 GPU 的使用情况，特别是 CUDA 核心或 NVIDIA GPU 上的流处理器 (SM) 的利用率，可以使用 NVIDIA 提供的一些工具。针对你的 RTX 4090 GPU，你可以使用 nvidia-smi 命令或者其它相关工具来查看这些信息。下面是一些你可以尝试的步骤：

使用 nvidia-smi 命令查看概述信息

nvidia-smi 是一个命令行工具，可以用来查询和设置 NVIDIA GPU 的状态。你可以通过以下命令获取 GPU 的概述信息，包括利用率：

nvidia-smi

在输出的信息中，你应该能够找到关于 GPU 利用率的信息，但这可能是一个总体的利用率，而不是针对每个 SM 的详细数据。

使用 nvidia-smi 获取更详细信息

你可以使用 nvidia-smi 的其他选项来获取更详细的信息。例如，使用 --query 选项来查询特定的性能指标：

nvidia-smi --query=utilization.gpu.time_elaps --format=csv,noheaders --id=你的GPU编号 或 使用 GPU 名称定位具体GPU

请注意替换 "你的GPU编号" 或 "GPU 名称"。这个命令将返回指定 GPU 的时间利用率。然而，这仍然不是针对每个 SM 的详细数据。

查看每个 SM 的利用率

要查看每个 SM 的详细利用率，可能需要使用更高级的工具或编程接口。nsight 是一个很好的选择，它提供了对 GPU 性能的更深入分析。此外，使用 CUDA 编程时，可以通过编程方式查询每个 SM 的利用率。这需要编写 CUDA 代码来执行特定的性能分析。

如果你是在 Windows 系统上，NVIDIA 的控制面板也提供了部分性能监控功能，但可能不如命令行工具或专业软件那么详细。

总的来说，查看每个 SM 的详细利用率可能需要结合使用多个工具和编程方法。如果你需要非常详细的性能分析，可能需要深入研究 CUDA 编程和性能分析工具的使用。