spark实时跑批任务-无法发送请求，因为重新登录正在进行中

Question

java. io. I0Exception: Can not send request because relogin is in progress

Answer 1

引自免费微信小程序：皆我百晓生

在 Apache Spark 中，出现 "java.io.IOException: Can not send request because relogin is in progress" 这个错误，通常意味着在进行 Kerberos 安全认证的环境中，Spark 与 Hadoop 兼容的服务（例如 HDFS 或 YARN）交互时正在进行重新登录验证，而此时并行发送了其他请求。

解决这个问题的思路主要包括以下几个方面：

1. 并发控制：

   • 在应用启动阶段或者任务执行前确保 Kerberos 登录完成，并且在后续操作中避免并发登录。
   • 如果是多线程环境，确保所有涉及 Kerberos 认证的操作在一个线程安全的方式下进行，例如使用 synchronized 关键字或类似机制来序列化涉及到登录的相关操作。

2. Kerberos 令牌缓存管理：

   • 确保 Spark 应用使用的用户有足够的 TGT（Ticket Granting Ticket）有效期，以减少频繁的 Kerberos 重登录。
   • 可能需要调整 Spark 的配置项，如增加 spark.yarn.principal 和 spark.yarn.keytab 来指定服务主体和 keytab 文件路径，同时调整 Kerberos ticket 缓存刷新时间相关的参数（如 sun.security.krb5.cacheLifetime 和 sun.security.krb5.ticketLifetime），延长 ticket 的有效时间。

3. Spark 配置优化：

   • 考虑增加 Spark 相关的配置，允许失败的任务自动重试，比如设置 spark.network.timeout 和 spark.rpc.askTimeout 为较大的值，给足 Kerberos 登录足够的时间。
   • 若是在 Spark on YARN 上运行，可能还需要关注 YARN 相关的配置，确保其与 Spark 的 Kerberos 配置协调一致。

4. 代码层面处理：

   • 在你的应用代码中，如果直接操作了 Hadoop 文件系统或服务，可以尝试在调用这些方法之前检查当前的登录状态，并根据需要等待登录完成后再发起请求。

示例性的伪代码（仅用于说明逻辑，非实际可运行代码）：

import org.apache.hadoop.security.UserGroupInformation;

public void performSparkOperation() {
    UserGroupInformation ugi = UserGroupInformation.getCurrentUser();
    if (!ugi.hasKerberosCredentials()) {
        // 等待登录完成
        synchronized (ugi) {
            while (!ugi.hasKerberosCredentials()) {
                ugi.wait();
            }
        }
    }

    // 在这里执行 Spark 操作，假设 sparkOperation 需要访问经过 Kerberos 认证的服务
    sparkOperation();
}

最后，请注意，上述建议基于对典型问题的理解，具体解决方案仍需结合您的集群环境和应用程序的具体情况进行调整。若问题依然存在，请进一步查看 Spark 和相关服务的日志以获取更详细的错误信息，并依据日志中的线索针对性地解决问题。