QEMU/KVM如何虚拟化GPU

Question

前两天参加面试时，被问到如何在QEMU中虚拟化GPU，并跑AI的相关训练。
就我目前的认识，首先是必须在一台有GPU的物理机上，然后要移植N卡、A卡或相应显卡的虚拟化的包进来，模拟出/dec/dri/card0这一设备节点，但具体是不是这样、细节又是如何就不是很清楚了。有没有哪位已经做过相关工作的人能予以讲解说明？

Answer 1

蓝天居士 上午好☀️☀️☀️️
本答案参考ChatGPT-3.5

在QEMU/KVM中虚拟化GPU并运行AI训练是可能的。下面是一些可能的解决方案：

1. 使用GPU直通(pass-through)技术: 通过将物理GPU直接分配给虚拟机，可以实现Hypervisor级别的GPU虚拟化。这样，虚拟机可以完全访问GPU硬件并进行AI训练。这种方法需要确保物理机具有支持VT-d (Intel) 或 IOMMU (AMD) 技术的CPU和主板，并且需要适当的GPU驱动支持。配置方法如下：

   • 配置主机的IOMMU功能并确保启用GPU直通支持。
   • 在QEMU虚拟机中配置PCI Pass-through，将GPU设备分配给虚拟机。
   • 在虚拟机中安装适当的GPU驱动程序。

2. 使用virtio-gpu: virtio-gpu是一种基于Para-virtualization的虚拟图形卡设备。它提供了虚拟机和宿主机之间的通信接口，允许虚拟机访问GPU功能。但由于它是基于软件实现的，并没有直接访问物理GPU硬件，所以性能可能会受到一些影响。配置方法如下：

   • 在QEMU虚拟机中启用virtio-gpu设备。
   • 在虚拟机中安装virtio-gpu驱动程序。
   • 在虚拟机中安装相应的GPU计算库和工具，如CUDA、cuDNN等。

3. 使用GPU虚拟化中间件: 除了直通和软件实现的虚拟图形卡设备外，还有一些第三方的GPU虚拟化中间件可供选择，如NVIDIA的GRID Virtual GPU和AMD的MxGPU。这些中间件可以提供硬件加速的虚拟化性能，并允许多个虚拟机共享同一个物理GPU。配置方法类似于直通技术，但需要安装相应的虚拟化中间件并进行适当的配置。

请注意，在实现基于GPU的虚拟化之前，你需要确保你的硬件和软件环境都支持所选择的虚拟化方法。此外，还要注意虚拟化GPU可能会对性能产生一定的影响。因此，要根据实际需求和性能要求做出权衡。

希望这些信息能对你有所帮助，如果你需要进一步的指导，请提供更多具体的信息和需求。