hadoop使用kerberos认证后,hadoop fs -ls命令行无法使用,求大神帮忙

hadoop版本apache hadoop 2.7.3,jdk-1.7

输入hadoop fs -ls,错误信息如下:

hadoop@hadoop01 native]$ hadoop fs -ls
17/08/01 01:33:36 WARN ipc.Client: Exception encountered while connecting to the server : javax.security.sasl.SaslException: GSS initiate failed [Caused by GSSException: No valid credentials provided (Mechanism level: Failed to find any Kerberos tgt)]
ls: Failed on local exception: java.io.IOException: javax.security.sasl.SaslException: GSS initiate failed [Caused by GSSException: No valid credentials provided (Mechanism level: Failed to find any Kerberos tgt)]; Host Details : local host is: "hadoop01/192.168.148.129"; destination host is: "hadoop01":9000;

klist查看凭据缓存,是存在的:
[hadoop@hadoop01 native]$ klist
Ticket cache: KEYRING:persistent:1001:1001
Default principal: hadoop/hadoop01@HADOOP.COM

Valid starting Expires Service principal
08/01/2017 01:12:54 08/02/2017 01:12:54 krbtgt/HADOOP.COM@HADOOP.COM

通过http://192.168.148.129:50070/dfshealth.html#tab-overview访问界面也是OK的:
Configured Capacity: 55.38 GB
DFS Used: 16 KB (0%)
Non DFS Used: 11.4 GB
DFS Remaining: 43.99 GB (79.42%)
Block Pool Used: 16 KB (0%)
DataNodes usages% (Min/Median/Max/stdDev): 0.00% / 0.00% / 0.00% / 0.00%
Live Nodes 2 (Decommissioned: 0)
Dead Nodes 0 (Decommissioned: 0)
Decommissioning Nodes 0
Total Datanode Volume Failures 0 (0 B)
Number of Under-Replicated Blocks 0
Number of Blocks Pending Deletion 0
Block Deletion Start Time 2017/8/1 上午10:12:21

0

1个回答

这么久了还没人回答,自己回答:
配置krb5.conf时候屏蔽关于 #default_ccache_name的配置,hadoop启动时是基于这个位置去寻找认证缓存的

[libdefaults]
dns_lookup_realm = false
ticket_lifetime = 24h
renew_lifetime = 7d
forwardable = true
rdns = false
default_realm = HADOOP.COM
#default_ccache_name = KEYRING:persistent:%{uid}

0
Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!
其他相关推荐
hadoop 命令执行报错解决
ls: Failed on local exception: java.io.IOException: javax.security.sasl.SaslException: GSS initiate failed [Caused by GSSException: No valid credentials provided (Mechanism level: Failed to find any
hdfs客户端实例(kerberos+simple)
1.非安全模式 在非安全模式下,访问hdfs文件系统的客户端代码如下: package ntci.hadoop.hdfs.test; import org.apache.hadoop.classification.InterfaceAudience; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop...
hadoop在Kerberos认证模式下的用户切换问题
hadoop使用到kerberos作为用户身份的一种认证方式。关于Kerberos的定义和用法,可以参考很多资料,这里就略过。 hadoop体系,hdfs,hbase,hive,spark等系统,事实上,都有权限控制体系,比如HDFS的读写权限控制,文件的所有者所属组等。kerberos在这里扮演的角色,事实上是一个验证的行为,告诉系统当前用户的身份是什么,方便权限控制系统进行判定。   对于
执行hadoop fs -ls / 无法加载本地hadoop平台解决方案
由于使用的是64位的Linux操作系统,而正常编译需要的是32位,所以会导致出现以下的错误上述标题中的错误。 解决方法:(以下加红字体为hadoop解压之后自带的) 在窗口输入  vi /home/用户名/hadoop目录名称/etc/hadoop/hadoop-env.sh 例如:我这里用户名是lzw vi /home/lzw/hadoop-2.5.2/etc/hadoop/hadoo
hadoop集群中添加kerberos认证
hadoop集群中添加kerberos认证 可以参照cloudera的官网方法:http://www.cloudera.com/content/cloudera-content/cloudera-docs/CDH4/latest/CDH4-Security-Guide/CDH4-Security-Guide.html 但本人的配置与其有所不同,更简单一点 本人使用的是hadoop_cloud
运行hadoop fs -ls 命令显示本地目录问题
环境CentOS6.4 CDH5.2 安装完成后发生如下问题 [hdfs@hadoop01 ~]$ hadoop fs -ls / Found 25 items -rw-r--r-- 1 root root 0 2016-08-17 10:47 /.autofsck dr-xr-xr-x - root root 4096 2016-
开启Hadoop安全认证之后的问题及解决方案简述
Hadoop 安全认证 Security Kerberos openldap
Hadoop平台安全机制Kerberos认证
日前笔者在使用flume采集数据直接入到Hadoop平台HDFS上时,由于Hadoop平台采用了Kerberos认证机制。flume配置上是致辞kerberos认证的,但由于flume要采集的节点并不在集群内,所以需要学习Kerberos在Hadoop上的应用。 1、Kerberos协议 Kerberos协议: Kerberos协议主要用于计算机网络的身份鉴别(Authenticatio
Hadoop集群的kerberos认证
文章转载自http://www.cnblogs.com/easycloud/p/3724437.html 转载主要用于个人学习备查。环境:OS 版本: Centos6.4Kerberos版本: krb5-1.10.3环境配置机器名Ip地址功能安装模块ganglia.localdomain192.168.124.140Kerberos serverkrb5-libskrb5-serverkrb5-w
hadoop集群的kerberos认证
部分现场的集群增加了kerberos认证 导致了一些linux脚本,hadoop程序,甚至是hbase访问的失败 就把如何进行kerberos认证总结了下: 分成两个方向 一 . 命令行下的kerberos认证 二 . java程序里的kerberos认证 一. 命令行下的kerberos认证 1. 使用用户名和密码做认证 用户名即 principal name : shixi...
hadoop fs 命令使用
hadoop fs 命令使用
Hadoop部署和配置Kerberos安全认证
Hadoop部署和配置Kerberos安全认证全套流程。已经过实测并部署与生产环境。
Hadoop开启Kerberos安全模式
Hadoop开启Kerberos安全模式, 基于已经安装好的Hadoop的2.7.1环境, 在此基础上开启Kerberos安全模式。 1.安装规划 已经安装好Hadoop的环境 10.43.159.7 zdh-7 hdfsone/zdh1234 Kerberos服务器 10.43.159.11 zdh-11 kerberos server 2.创建用户的k...
hadoop dfs -ls 不起作用的问题
在hdfs上创建文件,查看文件时,发现使用如下明明并不生效hadoop fs -mkdir /data创建文件失败 查看文件`hadoop fs -ls /`data则提示ls: Cannot access /data: No such file or directory.查看文件hadoop fs -ls /显示的是系统的根目录。 查了一下,说是新版的hadoop使用hadoop dfs -l
使用API访问开启kerberos集群下的HDFS
# 使用 Java API访问开启安全Kerberos的Hdfs
Java/Scala 访问启用kerberos验证的Hadoop集群
通过keytab的方式访问HDFSConfiguration config = new Configuration(); FileSystem hdfs = null; try { if (isKerberosEnable){ System.setProperty("java.security.krb5.con...
基于 Kerberos 认证的 Hadoop Token 过期问题 Debug 过程
1 Kerberos Kerberos是诞生于上个世纪90年代的计算机认证协议,被广泛应用于各大操作系统和Hadoop生态系统中。了解Kerberos认证的流程将有助于解决Hadoop集群中的安全配置过程中的问题。 1.1 Kerberos可以用来做什么 简单地说,Kerberos提供了一种单点登录(SSO)的方法。考虑这样一个场景,在一个网络中有不同的服务器,比如,打印服务器、邮件服务...
CDH开启kerberos后,HDFS连接的Java——API参数配置
大数据平台的安全认证Kerberos是一个比较麻烦的东西,但往往为了平台的安全需要开启,开启后使用JavaAPI操作HDFS,需要进行用户登陆认证。
hadoop使用kerberos增加权限验证功能
更改network中的hostname vim /etc/sysconfig/network NETWORKING=yes HOSTNAME=nn21021 更改hosts vim /etc/hosts 127.0.0.1   localhost #::1         localhost loca
Hadoop源码学习-脚本命令(hadoop fs -ls)执行细节
Hadoop有提供一些脚本命令,以便于我们对HDFS进行管理,可以通过命令hadoop fs进行查看: 通过以上使用说明可以发现,里面提供了大多数和我们在本地操作文件系统相类似的命令,例如,cat查看文件内容,chgrp改变用户群组权限,chmod改变用户权限,chown改变用户拥有者权限,还有创建目录,查看目录,移动文件,重命名等等。hadoop fs -ls这里,我们来看看命令hadoop
hadoop+kerberos的跨域互信
背景介绍:rock集群和stone集群,希望能够互相访问 1. 添加互信的principal(两个集群的kdc都要进行操作) kadmin: addprinc -e "des3-hmac-sha1:normal des-cbc-crc:normal" krbtgt/KERBEROS.STONE@KERBEROS.ROCK kadmin: addprinc -e "des3-hmac-sh
Hadoop fs命令详解
Hadoop框架之HDFS的shell操作 参考:https://www.cnblogs.com/cl1234/p/3566923.html
Hadoop(2.7.3)安全模式-hadoop kerberos官方配置详解
这篇文档描述了如何为Hadoop在安全模式下配置认证。当Hadoop被配置运行在安全模式下时,每个Hadoop服务和每个用户都必须被Kerberos认证。正向方向的主机去查找所有服务的主机,必须被正确地配置来相互认证。
对HDFS上多个文件并行执行grep操作
HDFS上存了大量归档压缩的日志文件,偶尔需要到上面查询一些信息。hadoop fs虽然可以执行ls,cat等操作,但是却不能直接执行grep操作。写个map reduce程序再执行,虽然可行,却感觉有点麻烦,没有直接使用shell命令方便灵活。经过查询和尝试,终于找到了方法。举个例子,启用10个进程,查询在2016年1月11日19点和20点之间的所有包含abcdefg的日志记录:hadoop fs
Hadoop(HDP)集群kerberos认证实现方案
Hadoop(HDP)集群kerberos认证实现方案 !!出于安全问题,本文隐藏了部分系统名称及服务名称,修改了部分可能造成信息泄露的部分。部分配置为虚拟机配置文件副本,相关主机名称仅供参考。 !!本文适用于HDP部署了ambari平台的kerberos认证操作。其他环境供参考。 文档中相关图片不上传了。 部署环境:Hadoop2.7.3 HDP2.5.3 本文档参考了
hadoop fs 基本命令
今天由于工作需要,需要使用到hadoop fs的一些命令,就简单的总结了下: 1,hadoop fs –fs [local | <file system URI>]:声明hadoop使用的文件系统,如果不声明的话,使用当前配置文件配置的,按如下顺序查找:hadoop jar里的hadoop-default.xml->$HADOOP_CONF_DIR下的hadoop-defaul...
Hadoop输入路径正则通配
在hadoop的编程中,如果你是手写MapReduce来处理一些数据,那么就避免不了输入输出参数路径的设定,hadoop里文件基类FileInputFormat提供了如下几种api来制定: 如上图,里面有 (1)addInputPath(),每次添加一个输入路径Path (2)addInputPaths, 将多个路径以逗号分割的字符串,作为入参,支持多个路径 (3)setI
安装完Hadoop之后,命令行输入hadoop却找不到命令
很可能是环境配置不正确 解决方法  1. vim /etc/profile  2. 修改proflie文件 3.完成后保存文件, 更新环境变量  4. source /etc/profile
[Hadoop基础]-- java代码Kerberos认证错误(hadoop本地库问题)
一、信息 2017-05-16 11:58:45 [ main:0 ] - [ WARN ] org.apache.hadoop.util.NativeCodeLoader.<clinit>(NativeCodeLoader.java:62) Unable to load native-hadoop library for your platform... using builti...
(五)hadoop路径读取文件的通配符
一、通配符 通配符 注解 * 代表0到多个字符 ? 代表单一字符 [ ab ] 代表字符类型,匹配{a,b}中的一个字符 [ ^ab ] 代表不是{a,b}中的一个字符 [ a-b ] 代表匹配一个a到b之间的字符包括ab,ASCII代码在a-b之间的 [ ^a-b] 代表不在a到b之间的字符包括ab {a,b} 代表匹配a或b的一个语句
Java 访问kerberos认证的HDFS文件
1、创建Maven项目,导入以下依赖,必须: <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-common</artifactId> <version>2.6.0</version>
hadoop一些常见报错的解决方案
hadoop环境配置过程中可能遇到问题的解决方案
hadoop(六)hadoop fs 命令详情
在xhsell或者其他链接工具上输入hadoop fs 即可出现提示1 hadoop fs -ls <path>   列出指定目录下的内容,支持pattern匹配。输出格式如filename(full path)<r n>size.n代表备份数。2 hadoop fs -lsr <path>   递归列出该路径下所有子目录信息3 hadoop fs du此外还可...
Hadoop使用ls查询时出现的异常解决
异常: Java HotSpot(TM) Server VM warning: You have loaded library /home/hadoop/hadoop-2.7.7/lib/native/libhadoop.so.1.0.0 which might have disabled stack guard. The VM will try to fix the stack guard n...
Hadoop Hdfs常用命令
Hadoop Hdfs常用命令   概述  本文档介绍Hadoop hdfs系统的一些常用命令。  操作hdfs系统可以使用hadoop fs 也可以使用 hdfs dfs ,两者效果一样。(hadoop dfs命令已不再建议使用)   参考: http://hadoop.apache.org/docs/r1.0.4/cn/hdfs_shell.html   常用命令 一、 
Hadoop_Kerberos配置过程记录
在KDC上创建kerberos实例①通过root用户,输入kadmin.local进入kerberos命令行,在kerberos数据库中生成实例 addprinc -randkey hadoop/namenode@SILENCE.COM addprinc -randkey hadoop/datanode1@SILENCE.COM addprinc -randkey hadoop/datanode2@
python对Hadoop的hdfs的操作——-pyhdfs或python调用shell文件
python对Hadoop的hdfs的操作——-pyhdfs或python调用shell文件本人在写基因组里的序列比对算法时,需要用Hadoop加快运算的速度,在java中可以直接调用Hadoop里面API提供的方法对hdfs操作,然而由于本人是用python写的算法,需要借助pyhdfs或python调用shell文件来对hdfs来进行操作。一、pyhdfs操作hdfs下面本人都详细介绍pyhdf
hadoop安全机制Kerberos详细介绍
Kerberos 1、Kerberos是一个基于共享密钥对称加密的安全网络认证系统,它避免了将密码(包括密码hash)在网上传输,而是将密码作为对称加密的密钥,通过能不能解密来验证用户的身份; 2、Kerberos在验证完用户身份后会发给用户Ticket,这个Ticket包含了用户的授权,用户拿着这个Ticket去享受各种服务,所以在Kerberos管理的范围内用户只需要登录一次就可以
hadoop 上安装配置Kerberos支持的zookeeper
我的环境: Red Hat Enterprise Linux Server release 5.5 (查看系统版本的命令:lsb_release -a)  64位 Java 环境:jdk1.7.0_51 Hadoop版本:编译过源码的2.2.0 Hbase版本:0.94-17 zookeeper版本:
Kerberos安装及与Hadoop搭配提高安全性
介绍了Kerberos的搭建方法,以及在普通Hadoop环境中、CDH环境中与Hadoop对接设置的步骤 本文转载自:http://blog.csdn.net/xiao_jun_0820/article/details/39375819 环境: 假设我们有5个机器,分别是hadoop1~hadoop5。选择hadoop1,hadoop2,hadoop3组成分布式的KDC。ha
文章热词 Hadoop Hadoop培训 Hadoop学习 Hadoop课程 Hadoop视频教程
相关热词 c++ hadoop 编译环境 c++ 访问hadoop hadoop java调用c++ python大神教程 区块链学习使用的语言