容器、域控、xxl-job问题

Question

k8s容器部署java项目共有两个节点，其中已经导入了ldap域控服务器的证书并且测试可以使用636端口权限操作，但是通过xxl-job调度任务触发时，却只有一个节点可以使用636端口成功连接域控服务器，请求如果打到另外一个节点就会报错，报错信息如下：simple bind failed: x.x.x.x:636; nested exception is javax.naming.CommunicationException: simple bind failed: x.x.x.x:636 [Root exception is javax.net.ssl.SSLException: Connection reset]，这种情况是怎么回事，是否有同学遇到过类似情况？
3月8日问题描述补充：
连接不上域控服务器的节点出现报错是偶发性的现象，并不是必现，本人猜测大概方向可能是容器与域控服务器之间的通信连接不稳定导致？如果按照这个方向排查问题的话，各位同学是否有相关解决方案

Answer 1

引自免费微信小程序：皆我百晓生

在Kubernetes集群中，你遇到的问题可能与多个因素有关，具体来说，在一个节点上的Java项目能够成功通过636端口连接到LDAP域控服务器，而在另一个节点上却报错。以下是可能导致该问题的一些原因和相应的解决方案：

1. 证书部署不一致： 确保两个节点上的容器都有正确且完整的SSL证书，并且证书路径配置无误。在每个节点的Pod中检查环境变量或配置文件，确认证书加载是否正确。

2. 网络策略差异： 检查Kubernetes NetworkPolicy资源是否对流量进行了限制，导致其中一个节点无法访问域控服务器。确保所有需要访问636端口的Pod都被包含在网络策略允许范围内。

3. DNS解析问题： 验证所有节点上的DNS解析设置，确保它们都能正确解析到域控服务器的IP地址（x.x.x.x）。可以通过在有问题的Pod中执行nslookup命令测试DNS解析情况。

4. 负载均衡/服务发现： 如果你的应用是通过Service访问域控服务器，那么可能是负载均衡器没有正确地将请求分发到可以正常通信的节点。检查相关服务的Endpoint，确认两个节点的服务实例都处于健康状态并被正确识别。

5. Pod内部时钟同步问题： SSL/TLS握手过程中涉及到时间戳校验，如果Pod内系统时间不同步也可能导致此类错误。请确保所有Pod内的系统时间与NTP服务器保持同步。

6. 防火墙规则或安全组设置： 核实云服务商控制台或节点主机上的防火墙规则以及安全组设置，确保636端口在所有节点上都是开放的。

针对报错信息“Connection reset”，这通常表示在建立SSL连接的过程中，服务器主动关闭了连接，可能的原因包括但不限于上述提到的证书验证失败、网络中断、服务器端配置问题等。你需要进一步排查日志，并结合上述建议进行细致的检查。

由于这是个运维层面的问题，故无需提供代码示例。为了解决这个问题，建议按照上述步骤逐一排查，同时查看受影响节点上的应用程序日志和Kubernetes事件日志以获取更详细的错误信息。