SAS接口连接失败：常见原因及排查步骤？

Question

SAS接口连接失败是存储系统集成中高频问题，常见原因包括：物理层异常（如线缆松动、SAS线缆类型错误或长度超限）、HBA卡/RAID卡固件版本过旧或驱动不兼容、SAS拓扑配置错误（如Expander级联过多、域ID冲突）、目标设备未上电或未被正确识别、以及操作系统层面的权限或udev规则干扰。排查应遵循分层原则：首先确认LED指示灯状态与线缆连接；其次使用`sas2ircu`（LSI）或`storcli`等工具检查HBA识别状态及SAS地址映射；再通过`/sys/class/sas_host/`和`dmesg | grep -i sas`分析内核日志中的link-up/link-down事件；最后验证多路径配置（如DM-Multipath）是否误屏蔽路径。建议始终参考HBA厂商兼容性列表（HCL），并确保固件、驱动、OS内核三者版本协同。

Answer 1

```html

一、物理层诊断：从“灯”开始的真相

LED指示灯是SAS链路健康的第一道哨兵。HBA卡、Expander、JBOD背板及硬盘托架上的Link/Activity/Ready灯状态需逐级核验：Link灯不亮→物理连接中断；Activity灯闪烁但Link常灭→线缆或端口协商失败；Ready灯不亮→设备未供电或SAS地址未分配。务必确认使用的是SFF-8087/8088/8643 屏蔽双轴SAS线缆（非SATA线缆误用），且单段长度≤10m（SAS-3下建议≤6m）。线缆弯折半径＜3cm、插拔次数超50次、金属屏蔽层破损均会导致信号完整性下降。

二、固件与驱动协同性验证：版本三角陷阱

组件	检查命令	关键阈值
HBA固件	storcli /c0 show 或 sas2ircu list	LSI/Broadcom卡需≥FW v25.0.0.00（SAS-3）
OS驱动	modinfo mpt3sas | grep version	RHEL 8.6+需mpt3sas v39.100.00.00+
内核兼容性	uname -r + 查HCL文档	Linux 5.10+对SAS域ID自动分配支持显著增强

常见陷阱：升级固件后未同步更新驱动，或使用社区编译驱动绕过厂商签名导致mpt3sas模块加载失败；RHEL/CentOS中启用kdump会占用额外PCIe资源，引发HBA初始化超时。

三、SAS拓扑深度解析：Expander级联与域ID冲突

执行lsscsi -v可暴露隐藏拓扑层级。当Expander级联＞3级时，SAS协议要求所有Expander必须配置唯一Domain ID（0x00–0xFF），否则出现“Address Frame Reject”错误。通过/sys/class/sas_host/host*/device/sas_device/*路径可读取每个端口的SAS地址（如0x5003048012345678），若多个设备报告相同SAS Address，则存在Expander配置冲突或固件BUG。特别注意：Dell H730P在启用IT模式后需手动禁用内部Expander以避免环路。

四、内核日志与sysfs实时取证：link-down事件溯源

dmesg -T | grep -i "sas\|mpt\|link" | tail -30
# 关键线索示例：
# [Wed Jun 12 10:23:41 2024] mpt3sas0: sas_device_add: handle(0x000a), sas_address(0x5003048012345678), phy(3)
# [Wed Jun 12 10:23:42 2024] mpt3sas0: sas_port_add: port_add: sas_addr(0x5003048012345678), num_phys(4)
# [Wed Jun 12 10:23:45 2024] mpt3sas0: _scsih_is_ioc_boot_firmware: IOC is in boot firmware mode!

上述日志中最后一行表明HBA卡仍处于Boot ROM模式，需执行storcli /c0 set bootmode=controller并重启生效。/sys/class/sas_host/host*/device/下的phy-*目录提供实时PHY速率（如rate文件值为12.0 Gbps）、链路状态（link_rate）和错误计数（invalid_dword_count＞1000即存在严重信号劣化）。

五、多路径与udev规则干扰：静默屏蔽路径的元凶

graph TD A[DM-Multipath启动] --> B{检查multipath.conf} B -->|blacklist section匹配SAS WWN| C[路径被主动ignore] B -->|defaults.user_friendly_names yes| D[别名覆盖导致/dev/mapper/mpathX错位] A --> E[udev规则触发] E -->|99-sas-persistent.rules中SUBSYSTEM==\"sas_device\"| F[强制重命名sas_device节点] F --> G[内核重载sas_transport模块失败]

典型案例：某客户在CentOS 7.9中部署PowerPath后，因/etc/multipath.conf中blacklist { wwid \"5003048.*\" }误匹配全部LSI设备，导致所有SAS路径被multipathd忽略；另一案例中，自定义udev规则将sas_device的SYMLINK设为固定名称，但未同步更新/dev/disk/by-path/软链接，造成LVM扫描遗漏物理卷。

六、厂商兼容性清单（HCL）落地实践：不可妥协的基线

绝不能仅依赖“能识别”就判定兼容——HCL验证必须覆盖三层：硬件组合（如Supermicro X11DPi-NTP主板 + Broadcom HBA 9400-16i + NetApp E2800 JBOD）、固件堆栈（HBA FW v30.00.00.00 + Expander FW v4.08 + Disk FW SN04）及软件栈（RHEL 9.2 kernel 5.14.0-284.el9 + storcli 1.15.12）。实测发现：同一HBA卡在HCL中标注“支持”，但若Expander固件低于v3.12，则SAS-3速率协商强制降为6Gbps且无法恢复。

```