NFS挂载卡住：常见原因及快速排查方法？

Question

NFS挂载卡住（如 `mount -t nfs` 长时间无响应、`df -h` 卡死、`ls /mnt/nfs` 挂起）是运维高频痛点。常见原因包括：① 网络层阻塞（防火墙拦截111/2049端口、NFS服务器宕机或路由不通）；② 服务端NFS daemon未启动（`rpcbind`、`nfs-server` 未运行或SELinux阻止RPC通信）；③ 客户端挂载选项不当（如默认`hard`+`tcp`下服务端不可达时无限重试）；④ DNS解析延迟（`/etc/exports` 或挂载命令中使用主机名但DNS超时）；⑤ 内核NFS客户端状态异常（如`nfs_cleanup_mnt`卡在D状态）。快速排查：先`ping` + `rpcinfo -p `验证连通性与RPC服务；用`showmount -e `测试导出列表；加`-o soft,timeo=10,retrans=3,vers=3`临时挂载验证；检查`dmesg | tail`和`/var/log/messages`中的NFS错误。避免生产环境裸用`hard`挂载，建议配合`intr`或改用`soft`+应用层容错。

Answer 1

```html

一、现象层：识别 NFS 挂载卡住的典型症状

运维人员常遭遇以下阻塞行为：mount -t nfs server:/export /mnt/nfs 长时间无返回（>2分钟）；df -h 卡在 NFS 挂载点；ls /mnt/nfs 进程状态为 D（不可中断睡眠）；ps aux | grep nfs 显示大量 nfsd 或 rpc.statd 等进程处于 UN 状态。这些是内核 NFS 客户端陷入 RPC 超时重试循环的外在表征，而非单纯“慢”，而是协议级阻塞。

二、网络层：验证基础连通性与端口可达性

执行分步诊断：

1. ping -c 3 nfs-server.example.com → 排除 ICMP 层断连
2. nc -zv nfs-server.example.com 111 && nc -zv nfs-server.example.com 2049 → 验证 rpcbind（111）和 nfsd（2049）端口开放
3. tcpdump -i eth0 port 111 or port 2049 -c 20 → 抓包确认 SYN/ACK 是否双向收发

常见陷阱：云环境安全组仅放行 2049，却忽略 rpcbind 的 111 端口（尤其 NFSv3）；IPv6 启用但 DNS 返回 AAAA 记录导致连接尝试超时。

三、服务层：检查服务端 NFS 栈完整性

在 NFS 服务器执行：

检查项	命令	预期输出
rpcbind 运行状态	systemctl is-active rpcbind	active
NFS 服务状态	systemctl is-active nfs-server	active
SELinux RPC 策略	sestatus -b | grep rpc	需含 rpcbind_port_t, nfs_port_t

四、协议层：RPC 服务发现与导出列表验证

客户端关键诊断命令链：

rpcinfo -p nfs-server.example.com        # 查看 portmapper 注册的服务（应含 nfs, mountd, nlockmgr）
showmount -e nfs-server.example.com       # 获取可挂载路径列表（若失败，说明 mountd 未响应或 exports 为空）
exportfs -v on server                     # （需登录服务端）确认 /etc/exports 实际生效配置

注意：showmount 默认走 UDP，若防火墙禁 UDP，加 -p 2049 -t tcp 强制 TCP；NFSv4 不依赖 mountd，故 showmount 对 v4 无效，应改用 rpcinfo -u server nfs 4。

五、客户端层：挂载选项与内核状态深度分析

默认 hard,tcp 在服务端宕机时触发无限重试（retrans=inf），应立即规避。推荐临时验证挂载：

mount -t nfs -o soft,timeo=10,retrans=3,vers=3,nolock,nfsvers=3 \
  nfs-server.example.com:/export /mnt/test

若该命令成功，则锁定为客户端挂载策略问题。进一步检查内核 NFS 状态：

• cat /proc/mounts | grep nfs → 查看实际挂载参数
• cat /proc/fs/nfsfs/servers → 列出活跃 NFS server 句柄及状态（重点关注 state 字段）
• ps auxf | grep 'nfs\|rpc' + cat /proc/<pid>/stack → 定位是否卡在 nfs_wait_on_request 或 __rpc_execute

六、解析层：DNS 与主机名解析延迟排查

当 /etc/exports 或挂载命令使用主机名（如 client01.internal）时，NFS 服务端会反向解析客户端 IP。若 DNS 响应慢或无反解记录，mountd 将阻塞数秒至数十秒。验证方式：

1. 在服务端执行：getent hosts $(hostname -i) 和 host $(hostname -i)
2. 关闭服务端 DNS 查询：echo "NO_NFS_DAEMON_REVERSE_LOOKUP=yes" >> /etc/sysconfig/nfs（RHEL/CentOS）
3. 生产建议：所有 /etc/exports 和挂载命令统一使用 IP 地址，规避解析链路

七、内核层：D 状态进程与 NFS 清理异常定位

当出现 ps aux | grep D 中含 nfs_cleanup_mnt 或 __nfsservctl 时，表明 VFS 层卸载流程被阻塞。典型原因：

• 进程正打开 NFS 文件且未关闭（lsof +D /mnt/nfs 必查）
• 内核 NFS 缓存损坏（echo 2 > /proc/sys/vm/drop_caches 无效，需重启 nfs-client 服务）
• 已知内核 Bug（如 RHEL 7.6+ 的 nfs4_reclaim_open_state 死锁，需升级 kernel-3.10.0-1127.el7 或更高）

八、日志层：结构化日志聚合分析

交叉比对三类日志源：

# 内核环缓冲区（实时性强）
dmesg -T | grep -i -E "(nfs|rpc|portmap|stale)" | tail -20

# 系统日志（含 NFS daemon 日志）
journalctl -u nfs-server --since "2 hours ago" | grep -E "(refused|timeout|no route|denied)"

# 客户端挂载日志（需启用）
echo "options sunrpc tcp_fin_timeout=15" > /etc/modprobe.d/sunrpc.conf && modprobe -r sunrpc && modprobe sunrpc

重点模式："server not responding"（网络层）、"stale file handle"（服务端 unexport/reboot 未通知客户端）、"RPC: Timed out"（重传耗尽）。

九、加固层：生产环境 NFS 挂载黄金实践

基于 20 年大规模 NFS 运维经验，强制实施以下规范：

1. 永不使用裸 hard：必须组合 intr（可中断）或 soft + 应用层重试逻辑
2. 显式指定协议版本：vers=3 或 nfsvers=4.1，禁用自动协商（避免 v2/v3/v4 混合故障）
3. 添加保活机制：actimeo=30,acregmin=30,acregmax=60 控制属性缓存，减少元数据请求风暴
4. 监控集成：通过 cat /proc/self/mountstats 提取 age, retrans, timeout 指标，接入 Prometheus

十、决策树：NFS 卡顿根因快速定位流程图

graph TD
  A[挂载卡住] --> B{ping 通?}
  B -->|否| C[查网络路由/防火墙]
  B -->|是| D{rpcinfo -p 成功?}
  D -->|否| E[查服务端 rpcbind/nfs-server 状态 SELinux]
  D -->|是| F{showmount -e 成功?}
  F -->|否| G[检查 exports 权限/DNS 反解]
  F -->|是| H{soft 挂载成功?}
  H -->|否| I[抓包分析 RPC 交互序列]
  H -->|是| J[调整挂载选项 timeo/retrans/vers]
  C --> K[结束]
  E --> K
  G --> K
  I --> K
  J --> K

```