ESXi SSH备份虚拟机时，如何安全高效地复制VMDK文件？

Question

在ESXi主机上通过SSH直接复制正在运行的虚拟机VMDK文件（如使用`cp`或`dd`），极易导致数据不一致甚至文件损坏——因VMDK可能被VMkernel实时写入，而SSH访问的是底层存储（如VMFS）的裸设备视图，绕过了vSphere的I/O锁机制与快照一致性保障。常见误操作包括：未关机/未挂起即拷贝、忽略增量磁盘依赖（如delta VMDK）、未同步复制descriptor文件（.vmdk）与flat文件（-flat.vmdk）、忽略权限与SELinux上下文（尤其在启用了hostd加固的6.7+版本）。此外，直接SCP大VMDK易因网络中断导致半截文件，且缺乏校验与断点续传能力。如何在不中断业务前提下，安全、原子化、可验证地完成VMDK备份？这要求兼顾一致性保障（如利用快照链）、传输可靠性（如rsync+checksum）、权限合规性（避免root SSH长期启用）及ESXi最佳实践（如禁用Shell后改用受限CLI或PowerCLI替代方案）。

Answer 1

```html

一、问题本质：为什么直接 SSH 拷贝 VMDK 是“危险的伪便利”？

ESXi 的 VMFS 文件系统并非普通 POSIX 文件系统——其元数据由 VMkernel 独占管理，vmdk descriptor（文本描述符）与 -flat.vmdk（二进制数据块）构成强耦合逻辑对。SSH 登录后执行 cp 或 dd 会绕过 vSphere I/O 栈（包括 vmfsSparse 锁、COW 快照屏障、disk chain 解析器），导致：

• descriptor 中的 CID/parentCID 字段与实际 delta 链断裂；
• 正在写入的 -flat.vmdk 出现部分页覆盖（如 ext4 journal 式损坏）；
• SELinux 上下文丢失（ESXi 6.7+ 默认启用 hostd 安全加固，/vmfs/volumes/ 下文件带 system_u:object_r:vmfs_t:s0 标签）；
• 无原子性：拷贝中途失败 → 半截 -flat.vmdk + 完整 descriptor → vmkfstools -D 报错 “invalid geometry”。

二、风险矩阵：典型误操作与后果映射表

误操作类型	技术诱因	典型错误日志	恢复难度
未挂起/关机直接拷贝	VMkernel 缓存脏页未刷盘，descriptor 中 capacity 字段滞后	Failed to open disk '/vmfs/volumes/.../disk.vmdk': The file is corrupt.	⭐⭐⭐⭐☆（需 hex 编辑修复 CID 或从快照回滚）
仅复制 descriptor 忽略 -flat	descriptor 指向不存在的 -flat 路径或旧 generation	Cannot open the disk '/vmfs/volumes/.../disk.vmdk' or one of the snapshot disks it depends on.	⭐⭐☆☆☆（重建 flat 可能丢失数据）
SCP 断连后重传同名文件	覆盖时破坏 sparse extent 对齐（VMFS 块大小为 1MB）	Invalid block number in extent descriptor	⭐⭐⭐⭐⭐（不可逆）

三、合规路径：分层备份架构设计

遵循 VMware KB 2002597 与 NIST SP 800-88 Rev.1 清晰分层：

1. 一致性层：使用 vim-cmd vmsvc/snapshot.create 创建内存一致快照（含 quiesce）；
2. 访问层：通过 govc datastore.download 或 PowerCLI Get-VM | Export-Vm 经 hostd API 访问，而非 SSH 直读 VMFS；
3. 传输层：启用 rsync over SSH with --checksum --partial --progress，服务端用 rsyncd 配置只读模块；
4. 验证层：备份后执行 vmkfstools -D /vmfs/volumes/.../backup.vmdk + SHA256 校验 descriptor 与 flat 分离哈希。

四、实操方案：零停机原子化备份流程（Mermaid 流程图）

flowchart TD
  A[发起备份请求] --> B{VM 是否启用 VMware Tools?}
  B -->|是| C[调用 vim-cmd vmsvc/snapshot.create -quiesce]
  B -->|否| D[使用 vim-cmd vmsvc/snapshot.create -memory]
  C --> E[等待快照就绪
vmkfstools -e /vmfs/volumes/DS1/VM1/VM1-000001.vmdk]
  D --> E
  E --> F[启动 rsync daemon
只读导出 /vmfs/volumes/DS1/VM1/]
  F --> G[客户端 rsync --checksum --partial
rsync://esxi-host/backup/VM1/ /nfs/backup/]
  G --> H[校验：
sha256sum VM1.vmdk VM1-flat.vmdk > checksums.sha256
vmkfstools -v 10 -D VM1.vmdk]
  H --> I[清理快照：
vim-cmd vmsvc/snapshot.removeall]

五、权限与加固最佳实践

• 禁用 root SSH：通过 esxcli system ssh set --enabled false，改用 dcui 或 vicfg-user 创建受限用户（角色：ReadOnly + 自定义特权 System.Anonymous）；
• 启用 hostd 加固：确认 /etc/vmware/hostd/config.xml 含 <enableHostdSecurity>true</enableHostdSecurity>；
• SELinux 上下文保留：若必须本地拷贝，使用 cp --preserve=context（ESXi 7.0+ 支持）；
• 替代方案优先级：PowerCLI > govc > ESXCLI > 直接 shell（最后选项）。

六、验证与审计：备份可信度四维检测

每次备份后必须执行以下检查（可封装为 cron + Python 脚本）：

1. 结构完整性：vmkfstools -e *.vmdk 输出 “OK”；
2. 链式一致性：解析 descriptor 中 parentFileNameHint 并验证父盘存在且 CID 匹配；
3. 内容一致性：对 descriptor 和 flat 分别计算 SHA256，比对源/目标哈希；
4. 可挂载性：在测试 ESXi 主机执行 vmkfstools -i source.vmdk test.vmdk -d thin 验证可克隆。

七、演进建议：面向 vSphere 8.x 的云原生备份范式

超越传统 VMDK 备份，推荐采用：

• vSphere Replication 8.0+：基于存储阵列快照（VAAI）+ change block tracking（CBT），RPO<15s；
• VMware Aria Operations for Logs：将备份事件、校验结果、快照生命周期写入统一日志流；
• Terraform + vSphere Provider：声明式定义备份策略（如 vsphere_virtual_machine_backup_policy），实现 GitOps 运维；
• Immutable Backup Store：备份至 S3 兼容对象存储（如 MinIO），启用 WORM（Write Once Read Many）策略防勒索篡改。

```