pentaho-metastore包连接Hive Metastore时认证失败如何解决？

Question

**问题描述：** 使用 `pentaho-metastore` 包（如 Pentaho Data Integration/Kettle 的 Hive metastore 连接功能）连接启用了 Kerberos 认证的 Hive Metastore 时，常报错 `GSS initiate failed`、`No valid credentials provided` 或 `SASL negotiation failed`。根本原因多为：① 未正确配置 JAAS 登录文件或 `hive.metastore.sasl.enabled=true` 参数缺失；② `krb5.conf` 路径未通过 JVM 参数 `-Djava.security.krb5.conf` 指定；③ keytab 文件权限/路径错误或 principal 不匹配；④ Pentaho 启动脚本未注入 Kerberos 环境变量（如 `HADOOP_CONF_DIR`、`HIVE_CONF_DIR`）及 `-Dsun.security.krb5.debug=true` 调试开关。此外，Pentaho 9+ 默认禁用旧版 Hadoop 安全模块，需显式引入 `hadoop-auth`、`hive-metastore` 等兼容版本 JAR 并排除冲突依赖。认证失败通常不抛出明确异常堆栈，需结合日志级别调至 DEBUG 及 `klist -k` 验证凭证有效性。

Answer 1

```html

一、现象层：典型错误日志与表征特征

连接 Kerberos 化 Hive Metastore 时，Pentaho Data Integration（PDI/Kettle）在 pentaho-metastore 模块中高频抛出以下非业务性认证异常：

• GSS initiate failed: No valid credentials provided (Mechanism level: Failed to find any Kerberos tgt)
• No valid credentials provided (Mechanism level: Ticket expired)
• SASL negotiation failed: GSSException: Failure unspecified at GSS-API level

这些错误往往出现在「Database Connection」测试或「Hive Table Input」步骤初始化阶段，且堆栈中极少出现 HiveMetaStoreClient 或 ThriftCLIService 的深层调用链——表明失败发生在 SASL 握手前的 JAAS/GSSAPI 初始化环节。

二、配置层：四大核心配置项校验清单

配置维度	必需值/路径	常见误配示例	验证命令
krb5.conf 路径	-Djava.security.krb5.conf=/etc/krb5.conf	未设置、指向空文件、权限为 600 但 JVM 进程无读取权	kinit -t /path/to/keytab principal && klist
JAAS 配置文件	-Djava.security.auth.login.config=/opt/pentaho/jaas.conf	文件名拼写错误、com.sun.security.auth.module.Krb5LoginModule 缺少 useKeyTab=true	grep -A5 "Client {" /opt/pentaho/jaas.conf

三、环境层：Pentaho 启动上下文注入规范

Pentaho 9+ 默认剥离 Hadoop 安全依赖，需在 spoon.sh（Linux）或 spoon.bat（Windows）中显式注入：

# 示例：spoon.sh 中追加的 JVM 参数
export OPT="$OPT -Djava.security.krb5.conf=/etc/krb5.conf"
export OPT="$OPT -Djava.security.auth.login.config=/opt/pentaho/jaas.conf"
export OPT="$OPT -Dsun.security.krb5.debug=true"
export OPT="$OPT -Dhadoop.home.dir=/opt/hadoop"
export HADOOP_CONF_DIR="/etc/hadoop/conf"
export HIVE_CONF_DIR="/etc/hive/conf"

⚠️ 注意：HADOOP_CONF_DIR 必须包含 core-site.xml（含 hadoop.security.authentication=kerberos）和 hdfs-site.xml；否则 SecurityUtil 初始化将静默跳过 Kerberos 模式。

四、依赖层：Pentaho 9+ 兼容性依赖治理策略

使用 Maven Shade 或手动 JAR 管理时，必须满足以下约束：

• 强制引入 hadoop-auth-3.3.6.jar（与集群 Hadoop 版本对齐）
• 升级 hive-metastore-3.1.3.jar 并排除其传递依赖中的 hadoop-client 冲突版本
• 删除 pentaho-hadoop-shims 中旧版 hadoop-core-1.2.1.jar（引发 ClassNotFoundException: org.apache.hadoop.security.UserGroupInformation）

五、诊断层：分阶段调试流程图

graph TD
  A[启动 Spoon] --> B{krb5.conf 是否被 JVM 加载？}
  B -- 否 --> C[添加 -Djava.security.krb5.conf]
  B -- 是 --> D{keytab + principal 是否有效？}
  D -- 否 --> E[运行 klist -k /path/to/keytab]
  D -- 是 --> F{JAAS 配置是否匹配？}
  F -- 否 --> G[检查 useKeyTab/useTicketCache/initiator]
  F -- 是 --> H[启用 -Dsun.security.krb5.debug=true]
  H --> I[观察日志中 'Acquired TGT' 或 'Failed to acquire TGT']

六、实操层：最小可验证 JAAS 配置模板

文件：/opt/pentaho/jaas.conf（UTF-8 编码，无 BOM）：

Client {
  com.sun.security.auth.module.Krb5LoginModule required
  useKeyTab=true
  keyTab="/opt/pentaho/pdi-user.keytab"
  principal="[e-mail]"
  storeKey=true
  useTicketCache=false
  debug=true;
};

关键点：storeKey=true 确保密钥缓存至内存；debug=true 触发 JAAS 模块自身日志输出（独立于 JVM Kerberos 日志）。

七、日志层：DEBUG 级别日志捕获要点

在 spoon.sh 中追加：

export LOG_LEVEL=DEBUG
export PENTAHO_LOGGING_LEVEL=DEBUG

重点关注日志关键词：Attempting to login as、TGT refresh thread started、Found KeyTab、Commit Succeeded。若出现 Unable to obtain Principal Name for authentication，则表明 principal 字符串格式错误（如漏写 @REALM）。

```