FusionSphere虚拟化常见技术问题：虚拟机启动失败如何排查？

Question

虚拟机启动失败是FusionSphere环境中常见问题之一。可能原因包括：主机资源不足、存储异常、镜像文件损坏、虚拟机配置错误或VRM管理节点通信异常。排查时应先检查CNA主机状态与资源使用情况，确认存储是否正常挂载且空间充足；查看虚拟机磁盘镜像是否完整，后端存储路径是否可访问；通过FusionCompute Portal观察告警信息与日志，定位故障环节；必要时使用命令行工具如`virsh`查看域状态并尝试手动启动。同时需确认虚拟机依赖的网络与安全策略未导致启动阻塞。

Answer 1

虚拟机启动失败在FusionSphere环境中的深度排查与解决方案

1. 问题背景与常见现象

在华为FusionSphere虚拟化平台中，虚拟机（VM）启动失败是运维过程中最常见的故障之一。用户通常会遇到“启动超时”、“域未响应”或“无法创建域”等提示信息。此类问题可能由多种因素引发，包括但不限于：CNA主机资源不足、存储系统异常、镜像文件损坏、虚拟机配置错误以及VRM管理节点通信中断。

对于拥有5年以上经验的IT从业者而言，仅依赖图形界面告警已不足以快速定位问题根源，需结合底层日志分析、命令行工具和架构级理解进行综合判断。

2. 排查流程：从表象到本质的递进式分析

1. 观察FusionCompute Portal告警：检查是否有“主机离线”、“存储断链”或“虚拟机启动失败”类告警。
2. 确认CNA主机运行状态：登录对应主机SSH终端，执行service status查看关键服务是否正常。
3. 资源使用情况核查：使用top或virsh nodeinfo命令查看CPU、内存负载。
4. 存储路径可达性验证：通过ls /opt/FusionStorage/blocks/确认磁盘镜像是否存在且可读。
5. 检查虚拟机XML配置：使用virsh dumpxml <vm-name>输出配置并审查设备挂载项。
6. 尝试手动启动域：virsh start <vm-name>观察返回错误码。
7. 查看libvirt日志：位于/var/log/libvirt/qemu/<vm-name>.log，搜索“error”或“failed”关键词。
8. 网络策略审查：确认安全组规则未阻止DHCP或ARP请求。
9. VRM与CNA通信检测：使用ping和rpcping测试控制通道连通性。
10. 镜像完整性校验：调用qemu-img check <image-file>判断qcow2文件是否损坏。

3. 故障类型分类与对应处理方案

故障类别	典型表现	诊断方法	解决方案
主机资源不足	启动卡顿、调度失败	virsh freepages, htop	迁移VM或扩容主机资源
存储异常	找不到磁盘、I/O延迟高	df -h, iscsiadm session	修复LUN映射或切换备路径
镜像损坏	QEMU报错无法加载镜像	qemu-img check	从备份恢复或重建模板
配置错误	XML解析失败、设备冲突	virsh edit	修正vCPU绑定或PCI设备设置
VRM通信异常	Portal显示离线但主机存活	rpcping, 查看hostagent日志	重启hostagent或重注册主机

4. 深度技术剖析：基于libvirt与QEMU的底层机制

当通过FusionCompute发起启动指令后，VRM将下发任务至CNA节点的hostagent服务，后者调用libvirt API创建QEMU实例。若此过程任一环节中断，均会导致虚拟机无法进入运行态。

Domain creation flow:
VRM → hostagent → libvirtd → QEMU-KVM → Kernel (KVM module)
                          ↓
                   /dev/kvm access check
                   Memory preallocation
                   Disk image open()
                   Network TAP device setup

例如，在/var/log/messages中发现如下日志：

Jul 15 10:23:45 cna-node1 qemu-kvm[1234]: Could not open '/opt/FusionStorage/images/vm-001.qcow2': Permission denied

这表明虽路径存在，但SELinux策略或文件权限限制了访问，需执行：

chown qemu:qemu /opt/FusionStorage/images/vm-001.qcow2

5. 自动化排查流程图（Mermaid格式）

graph TD
    A[VM启动失败] --> B{Portal有告警?}
    B -->|是| C[查看告警详情]
    B -->|否| D[登录CNA主机]
    C --> E[定位故障组件]
    D --> F[执行virsh list --all]
    F --> G{VM状态为inactive?}
    G -->|是| H[尝试virsh start]
    G -->|否| I[检查QEMU日志]
    H --> J{启动成功?}
    J -->|否| K[运行qemu-img check]
    K --> L{镜像正常?}
    L -->|否| M[恢复镜像]
    L -->|是| N[检查网络策略]
    N --> O[确认安全组/NIC配置]

6. 高阶建议与预防性措施

• 定期对关键虚拟机镜像执行qemu-img check健康检查。
• 启用CNA主机的资源预留策略，避免突发负载导致调度失败。
• 部署集中式日志系统（如ELK），实现跨节点日志关联分析。
• 建立VRM双活架构，防止单点通信中断影响全局管理。
• 对模板镜像实施版本控制与哈希校验机制。
• 配置Zabbix或Prometheus监控Ceph/RBD存储延迟与吞吐。
• 使用auditd追踪关键目录的非法访问行为。
• 制定应急预案，包含紧急迁移脚本与离线启动流程。
• 培训团队掌握基本的QEMU参数调试能力。
• 在维护窗口期主动重启长期运行的宿主机以释放碎片资源。