X4 X4 X8 Bifurcation配置时PCIe链路协商失败如何排查？

Question

在X4 X4 X8 Bifurcation配置下，PCIe链路协商失败的常见问题是由于BIOS中分叉（Bifurcation）模式设置错误或未正确启用。例如，当主板支持x4/x4/x8拆分但默认配置为x8/x8时，会导致下游设备无法建立有效链路。此外，固件不支持目标拆分模式、PCIe插槽电气兼容性问题或设备自身训练序列失败也会引发协商异常。排查时需确认BIOS设置是否精确匹配物理连接拓扑，同时检查链路宽度和速率协商状态，通过PciEye抓取LTSSM状态机日志可辅助定位训练阶段失败原因。

Answer 1

1. PCIe链路协商失败的背景与基本概念

在现代服务器和高性能计算系统中，PCIe（Peripheral Component Interconnect Express）拓扑结构常采用Bifurcation（分叉）技术以实现多个设备共享上游端口带宽。X4 X4 X8 Bifurcation配置意味着一个x16插槽被拆分为三个独立通道：两个x4和一个x8。这种配置常见于多GPU、FPGA或NVMe存储阵列场景。

当BIOS未正确设置Bifurcation模式时，例如默认为x8/x8而非所需的x4/x4/x8，会导致物理连接的设备无法获得预期的链路宽度，从而引发链路训练失败。

PCIe链路建立过程依赖于LTSSM（Link Training and Status State Machine），其状态迁移若在某一阶段停滞（如Detect、Polling、Configuration等），即表明协商异常。

2. 常见问题分类与成因分析

• BIOS Bifurcation配置错误：主板虽支持x4/x4/x8拆分，但默认设为x8/x8或x16，导致下游设备无法识别有效通道数。
• 固件不支持目标拆分模式：某些老旧或定制化平台BIOS未包含对非标准Bifurcation的支持。
• 电气兼容性问题：PCB走线阻抗不匹配、信号完整性差或插槽接触不良影响高速信号传输。
• 设备训练序列失败：终端设备（如GPU/NVMe卡）自身固件缺陷或PHY层异常导致无法完成Training Sequence。
• 拓扑不匹配：物理连接设备数量与Bifurcation输出通道不一致，造成空悬通道引发不稳定。

3. 排查流程与诊断方法

1. 进入BIOS/UEFI设置界面，确认当前PCIe Slot的Bifurcation Mode是否设置为“x4/x4/x8”或“Auto”且实际生效。
2. 使用lspci -vv命令查看Linux系统下各设备Negotiated Link Width和Speed，判断是否达到预期值。
3. 检查ACPI _DSM方法是否允许动态修改Bifurcation策略（尤其适用于OEM主板）。
4. 通过JTAG或专用工具读取Root Port的PCIe Capability寄存器（Offset 0x78）验证Active Bifurcation控制位。
5. 利用PciEye或Teledyne LeCroy Summit Protocol Analyzer抓取LTSSM状态迁移日志。
6. 分析抓包数据中是否存在Polling.Compliance、Configuration.Rcv_LANEs或Hot Reset循环现象。
7. 替换已知良好的设备进行交叉测试，排除硬件个体故障。
8. 更新主板BIOS至最新版本，确保支持所需Bifurcation模式。
9. 测量关键信号眼图（如TX/RX差分对），评估电气性能裕量。
10. 审查系统DSDT表中关于Slot的Device Properties定义是否正确。

4. 关键诊断数据参考表

状态阶段	正常行为	异常表现	可能原因
Detect	检测到Presence Detect信号	持续Detect.Quiet	无设备插入或机械故障
Polling	完成Polling.Config完成跳转	卡在Polling.Compliance	Bifurcation错配或速率不一致
Configuration	完成Lane计数与编号分配	反复Reset或超时	电气问题或PHY初始化失败
Recovery	短暂进入后恢复正常	频繁进出Recovery	电源波动或链路不稳定
L0	稳定运行于目标速率与宽度	降速至Gen1或窄宽度	信号衰减过大或Equalization失败

5. 使用PciEye进行LTSSM日志分析示例

[LTSSM_LOG] Port 3A: Entering Polling from Detect
→ TxElecIdle = Low, RxPresent = High
→ Sending TS1 with Lane0 Speed Support: Gen3
× Received no valid TS2 within 24ms → Timeout
→ Re-entering Detect → Loop detected
    ⇒ Suspect: Upstream port Bifurcation misconfigured as x8 only
    ⇒ Action: Verify BIOS setting "PCIe Slot 1 Bifurcation: x4/x4/x8"
    

6. Mermaid 流程图：PCIe链路协商失败排查路径

graph TD
            A[链路协商失败] --> B{BIOS Bifurcation设置正确?}
            B -- 否 --> C[修改为x4/x4/x8并保存]
            B -- 是 --> D[执行lspci -vv检查Negotiated Width]
            D --> E{是否等于预期?}
            E -- 否 --> F[使用PciEye抓包分析LTSSM]
            E -- 是 --> G[链路正常]
            F --> H[查看是否卡在Polling/Config阶段]
            H --> I{是否存在TS1/TS2交换失败?}
            I -- 是 --> J[检查电气信号质量]
            I -- 否 --> K[更新设备固件或更换硬件]