proxmox 一个OSD盘down掉后，集群里所有虚机无法正常使用

Question

请问用3台物理机做的集群，PVE7.2-3，ceph 16.2.11，模拟模拟将一块OSD盘down掉（或者模拟1台物理机关机），所有虚机都不正常了，虚机是启动着的，但是网络不通了，通过控制台也连不上了，点击控制台提示：VM 100 qmp command 'set_password' failed - unable to connect to VM 100 qmp socket - timeout after 31 retries
TASK ERROR: Failed to run vncproxy.
但是将down掉的OSD盘 out后，过会儿虚拟机又都自动恢复正常（模拟物理机关机也是 OSD盘当时只down，没有out，等out后 也都正常了）。报错提示的'set_password' failed 但是在一台物理机ssh另外一台物理机 不需要密码可以直接访问的，请问这个提示是什么情况，可以怎么解决，谢谢！

Answer 1

以下内容来自Chat gpt：
这个问题的报错信息提示VM 100 qmp command 'set_password' failed，可能是由于QEMU（虚拟机监控程序）崩溃或无法执行qmp命令引起的，导致虚拟机无法通过VNC或者SSH控制台进行控制。

在这种情况下，可以尝试重启QEMU服务，或重启整个PVE集群。以下是一些可能的解决方法：

1. 重启QEMU服务

可以在指定的物理机上执行以下命令重启QEMU服务：

systemctl stop pve-qemu-kvm.service
systemctl start pve-qemu-kvm.service

重启QEMU服务后，可以尝试重新登录控制台，看是否可以解决问题。

1. 重启整个PVE集群

如果重启QEMU服务无法解决问题，可以尝试重启整个PVE集群。在每个节点上执行以下命令：

pvecm halt

然后重新启动PVE集群：

pvecm start

需要注意的是，重启PVE集群将可能导致集群中的某些服务丢失数据，请确保在执行此操作之前做好备份工作。

如果以上解决方法都无法解决问题，可以尝试查看各节点的日志文件来查找更详细的错误信息。同时，建议在节点重启之前先将虚拟机迁移到另一个节点上，以避免数据丢失。如果问题无法解决，请联系PVE或CEPH的支持人员寻求帮助。