k8s集群重启后，kubelet一直报systemctl restart kubelet.service "Failed to delete cgroup paths"

Question

重启k8s集群后报systemctl restart kubelet.service
"Failed to delete cgroup paths" cgroupName=[kubepod...iled to rem
Apr 13 22:21:10 saas-billing-gth-099-135 kubelet[11206]: 8c4eca96_0268_4e82_81be_db897fde2924.slice]"

手工去删除也不行
sudo rmdir kubepods-burstable-pod3aacc9e5_6dfa_47d3_8156_f0d820efb52d.slice
rmdir: failed to remove ‘kubepods-burstable-pod3aacc9e5_6dfa_47d3_8156_f0d820efb52d.slice’: Device or resource busy

Answer 1

引自免费微信小程序：皆我百晓生

针对您在Kubernetes（k8s）集群重启后遇到的kubelet服务启动失败，并提示“Failed to delete cgroup paths”的问题，这里提供详细的排查与解决步骤：

一、理解错误信息

错误信息表明kubelet在尝试删除与cgroup相关的路径时遇到了问题。cgroups是Linux内核中的一个特性，用于对进程进行资源限制、优先级分配以及统计等操作。在Kubernetes中，kubelet通过cgroups管理Pod及容器的资源配额。当kubelet尝试清理旧的或无效的cgroup路径时遇到阻碍，就会出现此类错误。

二、排查步骤

1. 检查系统日志： 完整查看kubelet服务的日志（通常位于/var/log/messages、/var/log/kubelet.log或journalctl -u kubelet），以获取更多关于此错误的上下文信息和可能的关联错误。

2. 确认cgroup配置： 确认您的系统是否正确配置了cgroup驱动。在kubelet配置文件（通常为/etc/kubernetes/kubelet.conf）中查找--cgroup-driver参数，确保其值与Docker使用的cgroup驱动一致。Docker的cgroup驱动可通过运行docker info | grep -i cgroup命令来查看。

3. 检查cgroup路径： 根据错误信息中的cgroupName（例如：8c4eca96_0268_4e82_81be_db897fde2924.slice），在系统中定位相关cgroup路径（通常位于/sys/fs/cgroup/目录下）。检查这些路径是否存在，以及其权限设置是否允许kubelet删除。

4. 检查残留的Pods或容器： 使用kubectl get pods --all-namespaces命令检查是否有未被清理的Pods。如果有，尝试手动删除它们（kubectl delete pod <pod-name> --namespace=<namespace>）。同时，使用docker ps -a检查是否有残留的Docker容器，如有，也应手动清理。

5. 检查磁盘空间： 如果磁盘空间不足，可能导致kubelet无法正确清理cgroups。使用df -h检查系统磁盘使用情况，确保有足够的空间。

三、解决措施

根据上述排查结果，可尝试以下解决方法：

1. 修复cgroup配置： 如果发现kubelet与Docker的cgroup驱动不匹配，需修改kubelet配置文件中的--cgroup-driver参数，使其与Docker一致，然后重启kubelet服务。

2. 手动清理cgroup路径： 如果确认无用的cgroup路径确实存在且无法自动删除，可以尝试以root用户手动删除。但请注意，这一步需谨慎操作，确保所删路径确实无用且不会影响其他系统组件。

3. 清理残留资源： 如发现有未被清理的Pods或Docker容器，按照上述排查步骤中的命令进行清理。

4. 释放磁盘空间： 若磁盘空间不足，清理不必要的文件或扩展磁盘空间，确保kubelet能够正常工作。

5. 重启kubelet服务： 在执行上述操作后，重新启动kubelet服务：systemctl restart kubelet.service。观察服务是否能成功启动，以及日志中是否仍有相关错误。

四、预防措施

为避免类似问题再次发生，可以考虑以下预防措施：

1. 定期清理残留资源： 可以编写定时任务定期清理未完成终止的Pods和Docker容器，保持系统整洁。

2. 监控磁盘空间： 设置系统监控，及时预警磁盘空间不足的情况，防止因空间耗尽导致的问题。

3. 保持系统与组件更新： 定期更新操作系统和Kubernetes相关组件，以获取最新的bug修复和稳定性改进。

通过以上步骤，应该能有效地解决kubelet因“Failed to delete cgroup paths”导致的服务启动失败问题。如果您在执行过程中遇到具体困难或有其他疑问，欢迎继续提问。