jackiehff 2017-10-17 03:45 采纳率: 0%
浏览 3680

一个Java应用如何连接两个独立的、使用Kerberos认证的Hadoop集群?

目前项目中需要连接两个不同的带认证的Hadoop集群,但是每次只能连接到一个集群,另一个集群总是认证失败,代码如下:

 public Configuration getConf(int platform) throws IOException {
        if (platform == 1 || platform == 3) {
            return initConfiguration(A_CLUSTER_CONFIG_PATH);
        } else {
            return initConfiguration(B_CLUSTER_CONFIG_PATH);
        }
    }

    private Configuration initConfiguration(String clusterConfigPath) {
        System.setProperty("java.security.krb5.conf", clusterConfigPath + "krb5.conf");
        conf = new Configuration();
        conf.set("hadoop.security.authentication", "Kerberos");
        conf.addResource(new Path(clusterConfigPath + "core-site.xml"));
        conf.addResource(new Path(clusterConfigPath + "hdfs-site.xml"));
        conf.set("fs.hdfs.impl", DistributedFileSystem.class.getName());
        conf.setBoolean("fs.hdfs.impl.disable.cache", true);
        kerberosAuthentication(conf, clusterConfigPath + "hiveConfig.properties", clusterConfigPath + "bd_user.keytab");
        return conf;
    }

    private void kerberosAuthentication(Configuration conf, String propPath, String keytabPath) {
        try {
            UserGroupInformation.setConfiguration(conf);
            PropertiesUtil.loadFromFileSystem(propPath);
            UserGroupInformation.loginUserFromKeytab(PropertiesUtil.getString("hadoop.kerberos.principal"), keytabPath);
        } catch (IOException e) {
            LogBetter.instance(LOGGER).setLevel(LogLevel.ERROR).setMsg("[ClusterConnectionManager]:Hadoop认证失败").setException(e).log();
        }
    }
  • 写回答

5条回答 默认 最新

  • qq_20701337 2017-10-20 07:33
    关注
    两个集群的krb5.conf中的default_realm不一样吗?
    
    评论

报告相同问题?

悬赏问题

  • ¥15 Arduino红外遥控代码有问题
  • ¥15 数值计算离散正交多项式
  • ¥30 数值计算均差系数编程
  • ¥15 redis-full-check比较 两个集群的数据出错
  • ¥15 Matlab编程问题
  • ¥15 训练的多模态特征融合模型准确度很低怎么办
  • ¥15 kylin启动报错log4j类冲突
  • ¥15 超声波模块测距控制点灯,灯的闪烁很不稳定,经过调试发现测的距离偏大
  • ¥15 import arcpy出现importing _arcgisscripting 找不到相关程序
  • ¥15 onvif+openssl,vs2022编译openssl64