ESXi意外重启后密码失效问题排查

Question

ESXi主机意外重启后出现密码失效问题，常见原因之一是配置文件 `/etc/shadow` 或 `/etc/passwd` 在重启过程中未正确写入或被重置。此类问题多发生在存储介质异常、磁盘缓存策略不当或使用非持久化存储的场景中。重启可能导致本地用户认证信息丢失，表现为root密码无效、SSH登录拒绝等现象。排查时需检查日志 `/var/log/vmkernel.log` 与 `/var/log/hostd.log` 中的认证及存储相关错误，确认是否因磁盘I/O超时引发文件系统只读或写入失败。此外，验证 `/bootbank` 和 `/state` 分区完整性，确保配置持久化。建议启用ESXi Dump Collector与Persistent Log Location以提升诊断能力，并定期备份配置。

Answer 1

ESXi主机意外重启后密码失效问题深度解析

1. 问题现象与初步识别

在企业虚拟化环境中，ESXi主机意外重启后出现root用户无法登录、SSH连接被拒绝、或通过vSphere Client提示“用户名或密码错误”的情况屡见不鲜。尽管管理员确认输入的凭据正确，但系统仍拒绝认证。此类问题通常指向本地用户凭证存储机制异常。

核心配置文件包括：

• /etc/passwd：存储用户账户基本信息
• /etc/shadow：加密保存用户密码哈希值（关键）
• /etc/group：组信息定义

当这些文件在重启过程中未能持久化写入，将直接导致认证失败。

2. 根本原因分析：从表象到底层机制

密码失效的根本原因并非系统漏洞，而是与ESXi的存储架构设计密切相关。ESXi采用分层文件系统，其中关键配置存储于以下分区：

分区路径	用途	是否可持久化
/bootbank	内核与启动镜像	只读，不可变
/state	持久化配置（含/etc/shadow等）	是（若配置正确）
/scratch	临时日志与缓存	视挂载位置而定

若/state未正确映射至持久化存储（如本地磁盘或SAN LUN），重启后所有变更将丢失，造成“密码重置”假象。

3. 常见诱因场景

1. 使用USB/SD卡作为引导介质：低质量设备易发生I/O错误，导致写入失败。
2. RAID控制器缓存策略不当：关闭掉电保护（BBU）时断电会导致数据丢失。
3. 共享存储未启用多路径或超时设置过短：引发vmkernel中“I/O timeout”错误。
4. 主机处于“无状态”运行模式：配置未保存至本地，依赖Auto Deploy服务。
5. /state分区损坏或挂载失败：可通过esxcli system settings advanced list -o /UserVars/HostClientCEIp检查。

4. 日志排查流程图

# 检查核心日志中的关键错误
tail -f /var/log/vmkernel.log | grep -i "error\|timeout\|readonly"
grep -i "shadow" /var/log/hostd.log
logdir=$(esxcli system settings advanced list -o /UserVars/LogDir | awk '/String/{print $3}')
echo "Persistent log location: $logdir"

graph TD
            A[主机重启后密码失效] --> B{检查/etc/shadow是否存在}
            B -->|存在且内容完整| C[验证PAM模块状态]
            B -->|文件为空或缺失| D[检查/state分区挂载]
            D --> E[执行: mount | grep state]
            E -->|未挂载| F[需重新配置持久化存储]
            E -->|已挂载| G[检查写权限: touch /state/testfile]
            G -->|失败| H[查看vmkernel.log I/O错误]
            H --> I[诊断存储健康状态]

5. 解决方案与最佳实践

为避免此类问题反复发生，应实施以下措施：

• 确保/state分区持久化：
  使用命令 esxcli system settings advanced set -o /UserVars/AdvModeAllowed -s TRUE 启用高级模式，并配置独立LUN或本地磁盘作为/scratch和/state。
• 启用Persistent Log Location：
  将日志定向至外部存储，便于事后审计：
  esxcli system syslog config set --log-host='udp://syslog-server:514'
• 部署ESXi Dump Collector：
  收集崩溃转储（vmkdump），用于分析宕机前的I/O异常。
• 定期备份配置：
  使用vim-cmd hostsvc/firmware/sync_config同步并导出：
  vim-cmd hostsvc/firmware/backup_config
• 监控存储健康状态：
  利用esxcli storage core path list和smartctl工具检测磁盘可靠性。

6. 高级诊断技巧

对于资深工程师，可深入分析以下维度：

• 通过esxcli storage filesystem list确认各挂载点写入能力。
• 使用lsof /etc/shadow查看是否有进程锁定该文件。
• 检查/etc/rc.local.d/local.sh是否包含误删配置的脚本。
• 启用Host Client高级调试：esxcli system settings advanced set -o /UserVars/ExtendedHostClientInstall -s 1
• 利用PowerCLI远程批量验证主机配置一致性。
• 分析core-dump中的AuthMgr线程状态，判断认证服务初始化是否异常。
• 审查/var/log/boot.gz中的早期挂载流程，确认/state是否成功激活。
• 对比esxcli system settings advanced list -g UserVars输出与预期策略。
• 验证NTP同步状态，防止因时间偏差引发Kerberos认证链错误。
• 检查SELinux或AppArmor策略是否干扰了PAM模块加载（罕见但可能）。