rk3568 HC died; cleaning up 时系统卡死如何排查？

Question

在RK3568平台上，系统运行过程中偶发出现“HC died; cleaning up”后卡死的问题，常见于USB主机控制器异常。该问题通常与USB PHY初始化失败、电源不稳定或内核USB驱动兼容性有关。排查时应重点检查设备树中USB控制器配置、电源管理设置及内核日志中的上下文信息，结合dmesg和串口日志分析HC（Host Controller）崩溃时机，确认是否由过载、热插拔冲击或固件缺陷引发，可尝试更新SDK版本或打补丁修复已知USB堆栈问题。

Answer 1

一、问题现象与背景分析

在基于Rockchip RK3568平台的嵌入式系统开发中，偶发出现“HC died; cleaning up”的日志信息，并伴随系统卡死或USB功能完全失效的现象。该问题多发生于长时间运行或频繁热插拔USB设备后。

此日志通常由Linux内核的EHCI/OHCI/xHCI主机控制器驱动（如ehci-pci、xhci-plat-hcd）在检测到主机控制器异常时输出，表示Host Controller已进入不可恢复状态，需强制清理资源。

结合RK3568芯片特性，其集成的USB 2.0和USB 3.0控制器通过独立的PHY模块实现物理层通信，因此故障常与以下因素相关：

• USB PHY初始化失败或重置异常
• 电源不稳定导致PHY供电波动
• 设备树配置错误（如phy-supply、resets、clocks等节点缺失）
• 内核USB子系统存在兼容性缺陷或未修复的bug
• 外部设备热插拔冲击引发总线震荡

二、排查流程：从表象到根源

为系统化定位问题，建议采用如下分层排查路径：

1. 确认问题复现条件（是否可稳定触发？负载/温度/外设类型？）
2. 抓取完整dmesg日志与串口console输出
3. 检查设备树中USB控制器节点配置完整性
4. 验证电源轨稳定性（尤其是VDD-USB-PHY）
5. 分析内核堆栈回溯（backtrace），确定崩溃上下文
6. 测试不同SDK版本是否存在差异
7. 尝试打补丁或启用调试选项增强日志输出

三、关键日志分析示例

[  123.456789] xhci_hcd 0000:01:00.0: HC died; cleaning up
[  123.456792] xhci_hcd 0000:01:00.0: Host halt bit set
[  123.456795] xhci_hcd 0000:01:00.0: Disable slot failed on bad port
[  123.456798] usb usb2: USB disconnect, device number 1
[  123.456801] Kernel panic - not syncing: Fatal error on XHCI host
  

上述日志表明XHCI控制器因无法响应而被判定死亡，且后续尝试释放资源失败，最终引发kernel panic。此时应重点关注“Host halt bit set”这一信号，通常意味着控制器内部状态机锁死或DMA异常。

四、设备树配置核查清单

字段	必要性	常见错误	RK3568参考值
phys = <&usb2_phy0>	必需	引用不存在的PHY节点	正确绑定phy节点
phy_type	必需	误设为"otg"而非"host"	"host"
status = "okay"	必需	遗漏或拼写错误	确保启用
resets = <&cru SRST_USB3OTG>	必需	reset ID错误	匹配CRU定义
clocks = <&cru SCLK_USB3OTG_REF>	必需	频率不匹配	一般为100MHz
power-domains = <&pd_usb3>	推荐	省电模式冲突	开启PD控制
wakeup-source	可选	唤醒异常	根据需求设置

五、电源与硬件层面验证

使用示波器测量USB PHY供电引脚（如AVDD18、DVDD33）是否存在电压跌落或噪声干扰。尤其在热插拔大电流设备（如移动硬盘）时，瞬态电流可能超过LDO承载能力，导致PHY复位。

建议措施包括：

• 增加去耦电容（典型值：10μF + 0.1μF并联）
• 检查PCB布线是否远离高频干扰源
• 确认PMIC对USB电源域的动态响应能力
• 限制外设最大电流（通过设备描述符模拟或硬件限流）

六、内核驱动与SDK优化策略

Rockchip官方Linux SDK在v4.19及后续长期支持版本中持续修复USB相关问题。若使用旧版内核（如4.19.y早期分支），可能存在如下已知缺陷：

• XHCI控制器在低功耗模式下未能正确恢复
• PHY reset时序不符合USB3.0规范
• 缺少对特定UAS设备的quirk支持

解决方案包括：

1. 升级至最新SDK（推荐Rockchip v2.0.7以上）
2. 应用社区提交的补丁，例如：

--- a/drivers/usb/phy/phy-rockchip-inno-usb2.c
+++ b/drivers/usb/phy/phy-rockkit-inno-usb2.c
@@ -120,6 +120,9 @@ static int rockchip_usb2_phy_power_on(struct phy *phy)
 {
     struct rockchip_usb2_phy *rphy = phy_get_drvdata(phy);
+    if (rphy->initialized)
+        return 0;
+
     return rockchip_usb2_phy_init(rphy);
 }
  

该补丁防止重复初始化PHY导致状态紊乱。

七、诊断增强与自动化监控

可通过启用内核调试选项提升问题捕获能力：

CONFIG_USB_XHCI_HCD_DEBUGGING=y
CONFIG_DYNAMIC_DEBUG=y
CONFIG_PM_DEBUG=y

并在运行时开启动态调试：

echo 'file drivers/usb/core/* +p' > /sys/kernel/debug/dynamic_debug/control
echo 'file drivers/phy/rockchip/* +p' >> /sys/kernel/debug/dynamic_debug/control
  

八、系统级缓解方案设计

对于无法彻底根除的偶发性HC崩溃，可设计容错机制：

graph TD A[USB设备插入] --> B{是否识别成功?} B -- 是 --> C[正常运行] B -- 否 --> D[启动定时器监测xhci_hcd日志] D --> E[检测到"HC died"] E --> F[触发udev规则重启USB子系统] F --> G[执行rmmod xhci_pci && modprobe xhci_pci] G --> H[重新枚举设备] H --> C

该流程可在用户空间通过systemd service或自定义守护进程实现自动恢复，避免整机重启。