hadoop使用kerberos认证后,hadoop fs -ls命令行无法使用,求大神帮忙

hadoop版本apache hadoop 2.7.3,jdk-1.7

输入hadoop fs -ls,错误信息如下:

hadoop@hadoop01 native]$ hadoop fs -ls
17/08/01 01:33:36 WARN ipc.Client: Exception encountered while connecting to the server : javax.security.sasl.SaslException: GSS initiate failed [Caused by GSSException: No valid credentials provided (Mechanism level: Failed to find any Kerberos tgt)]
ls: Failed on local exception: java.io.IOException: javax.security.sasl.SaslException: GSS initiate failed [Caused by GSSException: No valid credentials provided (Mechanism level: Failed to find any Kerberos tgt)]; Host Details : local host is: "hadoop01/192.168.148.129"; destination host is: "hadoop01":9000;

klist查看凭据缓存,是存在的:
[hadoop@hadoop01 native]$ klist
Ticket cache: KEYRING:persistent:1001:1001
Default principal: hadoop/hadoop01@HADOOP.COM

Valid starting Expires Service principal
08/01/2017 01:12:54 08/02/2017 01:12:54 krbtgt/HADOOP.COM@HADOOP.COM

通过http://192.168.148.129:50070/dfshealth.html#tab-overview访问界面也是OK的:
Configured Capacity: 55.38 GB
DFS Used: 16 KB (0%)
Non DFS Used: 11.4 GB
DFS Remaining: 43.99 GB (79.42%)
Block Pool Used: 16 KB (0%)
DataNodes usages% (Min/Median/Max/stdDev): 0.00% / 0.00% / 0.00% / 0.00%
Live Nodes 2 (Decommissioned: 0)
Dead Nodes 0 (Decommissioned: 0)
Decommissioning Nodes 0
Total Datanode Volume Failures 0 (0 B)
Number of Under-Replicated Blocks 0
Number of Blocks Pending Deletion 0
Block Deletion Start Time 2017/8/1 上午10:12:21

0

查看全部1条回答

Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!
其他相关推荐
hadoop 命令执行报错解决
ls: Failed on local exception: java.io.IOException: javax.security.sasl.SaslException: GSS initiate failed [Caused by GSSException: No valid credentials provided (Mechanism level: Failed to find any
执行hadoop fs -ls / 无法加载本地hadoop平台解决方案
由于使用的是64位的Linux操作系统,而正常编译需要的是32位,所以会导致出现以下的错误上述标题中的错误。 解决方法:(以下加红字体为hadoop解压之后自带的) 在窗口输入  vi /home/用户名/hadoop目录名称/etc/hadoop/hadoop-env.sh 例如:我这里用户名是lzw vi /home/lzw/hadoop-2.5.2/etc/hadoop/hadoo
运行hadoop fs -ls 命令显示本地目录问题
环境CentOS6.4 CDH5.2 安装完成后发生如下问题 [hdfs@hadoop01 ~]$ hadoop fs -ls / Found 25 items -rw-r--r-- 1 root root 0 2016-08-17 10:47 /.autofsck dr-xr-xr-x - root root 4096 2016-
hadoop集群中添加kerberos认证
hadoop集群中添加kerberos认证 可以参照cloudera的官网方法:http://www.cloudera.com/content/cloudera-content/cloudera-docs/CDH4/latest/CDH4-Security-Guide/CDH4-Security-Guide.html 但本人的配置与其有所不同,更简单一点 本人使用的是hadoop_cloud
hadoop集群的kerberos认证
部分现场的集群增加了kerberos认证 导致了一些linux脚本,hadoop程序,甚至是hbase访问的失败 就把如何进行kerberos认证总结了下: 分成两个方向 一 . 命令行下的kerberos认证 二 . java程序里的kerberos认证 一. 命令行下的kerberos认证 1. 使用用户名和密码做认证 用户名即 principal name : shixi...
开启Hadoop安全认证之后的问题及解决方案简述
Hadoop 安全认证 Security Kerberos openldap
Hadoop平台安全机制Kerberos认证
日前笔者在使用flume采集数据直接入到Hadoop平台HDFS上时,由于Hadoop平台采用了Kerberos认证机制。flume配置上是致辞kerberos认证的,但由于flume要采集的节点并不在集群内,所以需要学习Kerberos在Hadoop上的应用。 1、Kerberos协议 Kerberos协议: Kerberos协议主要用于计算机网络的身份鉴别(Authenticatio
Hadoop开启Kerberos安全模式
Hadoop开启Kerberos安全模式, 基于已经安装好的Hadoop的2.7.1环境, 在此基础上开启Kerberos安全模式。 1.安装规划 已经安装好Hadoop的环境 10.43.159.7 zdh-7 hdfsone/zdh1234 Kerberos服务器 10.43.159.11 zdh-11 kerberos server 2.创建用户的k...
hadoop在Kerberos认证模式下的用户切换问题
hadoop使用到kerberos作为用户身份的一种认证方式。关于Kerberos的定义和用法,可以参考很多资料,这里就略过。 hadoop体系,hdfs,hbase,hive,spark等系统,事实上,都有权限控制体系,比如HDFS的读写权限控制,文件的所有者所属组等。kerberos在这里扮演的角色,事实上是一个验证的行为,告诉系统当前用户的身份是什么,方便权限控制系统进行判定。   对于
CDH集群开启Kerberos安全认证
在ClouderaManager中通过向导开启,kerberos启用可以通过对hadoop集群的各个服务的xml配置文件进行配置开启管理,但是由于需要配置的xml很多,还需要生成各个服务器的keytab文件,配置相当于繁琐,就算是老司机也很容易出错,而在在CM中管理kerberos启用,可以通过可视化的方式进行管理开启,非常方便,cm帮你生成和部署各个服务的keytab文件,减少错误的发生在进行向导
CDH开启kerberos后,HDFS连接的Java——API参数配置
大数据平台的安全认证Kerberos是一个比较麻烦的东西,但往往为了平台的安全需要开启,开启后使用JavaAPI操作HDFS,需要进行用户登陆认证。
Hadoop部署和配置Kerberos安全认证
Hadoop部署和配置Kerberos安全认证全套流程。已经过实测并部署与生产环境。
Hadoop输入路径正则通配
在hadoop的编程中,如果你是手写MapReduce来处理一些数据,那么就避免不了输入输出参数路径的设定,hadoop里文件基类FileInputFormat提供了如下几种api来制定: 如上图,里面有 (1)addInputPath(),每次添加一个输入路径Path (2)addInputPaths, 将多个路径以逗号分割的字符串,作为入参,支持多个路径 (3)setI
Hadoop_Kerberos配置过程记录
在KDC上创建kerberos实例①通过root用户,输入kadmin.local进入kerberos命令行,在kerberos数据库中生成实例 addprinc -randkey hadoop/namenode@SILENCE.COM addprinc -randkey hadoop/datanode1@SILENCE.COM addprinc -randkey hadoop/datanode2@
hadoop fs操作 shell 命令大全
Hadoop FS Shell命令大全 调用文件系统(FS)Shell命令应使用 bin/hadoop fs 的形式。 所有的的FS shell命令使用URI路径作为参数。URI格式是scheme://authority/path。对HDFS文件系统,scheme是hdfs,对本地文件系统,scheme是file。其中scheme和authority参数都是可选的,如果未加指定,就会使用配置
hadoop shell命令行基础
1. 查看hdfs根目录下的文件:hadoop fs -ls  hdfs://master:9000/可以简写为以下的形式:hadoop fs -ls /或者这么写:hdfs dfs -ls /2. 创建文件夹:hadoop fs -mkdir /test3. 在指定文件夹中创建空文件:hadoop fs -touchz /test/zs.txt文件为空时 再创建一个同名的文件不会报错 4. 上传...
hadoop fs 命令使用
hadoop fs 命令使用
Hadoop集群的kerberos认证
文章转载自http://www.cnblogs.com/easycloud/p/3724437.html 转载主要用于个人学习备查。环境:OS 版本: Centos6.4Kerberos版本: krb5-1.10.3环境配置机器名Ip地址功能安装模块ganglia.localdomain192.168.124.140Kerberos serverkrb5-libskrb5-serverkrb5-w
hadoop dfs -ls 不起作用的问题
在hdfs上创建文件,查看文件时,发现使用如下明明并不生效hadoop fs -mkdir /data创建文件失败 查看文件`hadoop fs -ls /`data则提示ls: Cannot access /data: No such file or directory.查看文件hadoop fs -ls /显示的是系统的根目录。 查了一下,说是新版的hadoop使用hadoop dfs -l
hadoop使用kerberos增加权限验证功能
更改network中的hostname vim /etc/sysconfig/network NETWORKING=yes HOSTNAME=nn21021 更改hosts vim /etc/hosts 127.0.0.1   localhost #::1         localhost loca
Hadoop(HDP)集群kerberos认证实现方案
Hadoop(HDP)集群kerberos认证实现方案 !!出于安全问题,本文隐藏了部分系统名称及服务名称,修改了部分可能造成信息泄露的部分。部分配置为虚拟机配置文件副本,相关主机名称仅供参考。 !!本文适用于HDP部署了ambari平台的kerberos认证操作。其他环境供参考。 文档中相关图片不上传了。 部署环境:Hadoop2.7.3 HDP2.5.3 本文档参考了
hadoop+kerberos的跨域互信
背景介绍:rock集群和stone集群,希望能够互相访问 1. 添加互信的principal(两个集群的kdc都要进行操作) kadmin: addprinc -e "des3-hmac-sha1:normal des-cbc-crc:normal" krbtgt/KERBEROS.STONE@KERBEROS.ROCK kadmin: addprinc -e "des3-hmac-sh
基于 Kerberos 认证的 Hadoop Token 过期问题 Debug 过程
1 Kerberos Kerberos是诞生于上个世纪90年代的计算机认证协议,被广泛应用于各大操作系统和Hadoop生态系统中。了解Kerberos认证的流程将有助于解决Hadoop集群中的安全配置过程中的问题。 1.1 Kerberos可以用来做什么 简单地说,Kerberos提供了一种单点登录(SSO)的方法。考虑这样一个场景,在一个网络中有不同的服务器,比如,打印服务器、邮件服务...
Java/Scala 访问启用kerberos验证的Hadoop集群
通过keytab的方式访问HDFSConfiguration config = new Configuration(); FileSystem hdfs = null; try { if (isKerberosEnable){ System.setProperty("java.security.krb5.con...
0005-Windows Kerberos客户端配置并访问CDH
温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看。 1.概述 本文档描述Windows Server2008 R2(windows的内核版本是6.1,与windows 7相同)下安装Kerberos Client及FireFox下HTTP访问HDFS、Yarn、Hive、HBase等Hadoop服务的Web UI(如Namenode的50070,Yarn的8088)的过程。安装文档...
使用API访问开启kerberos集群下的HDFS
# 使用 Java API访问开启安全Kerberos的Hdfs
Hadoop源码学习-脚本命令(hadoop fs -ls)执行细节
Hadoop有提供一些脚本命令,以便于我们对HDFS进行管理,可以通过命令hadoop fs进行查看: 通过以上使用说明可以发现,里面提供了大多数和我们在本地操作文件系统相类似的命令,例如,cat查看文件内容,chgrp改变用户群组权限,chmod改变用户权限,chown改变用户拥有者权限,还有创建目录,查看目录,移动文件,重命名等等。hadoop fs -ls这里,我们来看看命令hadoop
Hadoop fs命令详解
Hadoop框架之HDFS的shell操作 参考:https://www.cnblogs.com/cl1234/p/3566923.html
hadoop fs 基本命令
今天由于工作需要,需要使用到hadoop fs的一些命令,就简单的总结了下: 1,hadoop fs –fs [local | <file system URI>]:声明hadoop使用的文件系统,如果不声明的话,使用当前配置文件配置的,按如下顺序查找:hadoop jar里的hadoop-default.xml->$HADOOP_CONF_DIR下的hadoop-defaul...
【Hadoop基础】hadoop fs 命令
1,hadoop fs –fs [local | ]:声明hadoop使用的文件系统,如果不声明的话,使用当前配置文件配置的,按如下顺序查找:hadoop jar里的hadoop-default.xml->$HADOOP_CONF_DIR下的hadoop-default.xml->$HADOOP_CONF_DIR下的hadoop-site.xml。使用local代表将本地文件系统作为hadoop的
Hadoop(2.7.3)安全模式-hadoop kerberos官方配置详解
这篇文档描述了如何为Hadoop在安全模式下配置认证。当Hadoop被配置运行在安全模式下时,每个Hadoop服务和每个用户都必须被Kerberos认证。正向方向的主机去查找所有服务的主机,必须被正确地配置来相互认证。
Java 访问kerberos认证的HDFS文件
1、创建Maven项目,导入以下依赖,必须: <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-common</artifactId> <version>2.6.0</version>
使用hdfsclient遇到的kerberos解决方法
这几天忙着测试批量文件上传通过hdfsclient上传hdfs上,刚到第一步就卡住了,遇到了所有程序员几乎都不可避免遇到的问题 那就是认证问题,这里我的集群的hdfs连接要认证kerberos,kerberos我就不加介绍了,可以去别的博客上看。 当时我是按照跟别的博客一样的写法: 上传本地文件到hdfs上:                Configuration
Hadoop使用ls查询时出现的异常解决
异常: Java HotSpot(TM) Server VM warning: You have loaded library /home/hadoop/hadoop-2.7.7/lib/native/libhadoop.so.1.0.0 which might have disabled stack guard. The VM will try to fix the stack guard n...
hadoop fs 常用的shell命令行
原博客地址:http://blog.csdn.net/wuwenxiang91322/article/details/22166423 1,Hadoop fs –fs [local | ]:声明hadoop使用的文件系统,如果不声明的话,使用当前配置文件配置的,按如下顺序查找:hadoop jar里的hadoop-default.xml->$HADOOP_CONF_DIR下的
对HDFS上多个文件并行执行grep操作
HDFS上存了大量归档压缩的日志文件,偶尔需要到上面查询一些信息。hadoop fs虽然可以执行ls,cat等操作,但是却不能直接执行grep操作。写个map reduce程序再执行,虽然可行,却感觉有点麻烦,没有直接使用shell命令方便灵活。经过查询和尝试,终于找到了方法。举个例子,启用10个进程,查询在2016年1月11日19点和20点之间的所有包含abcdefg的日志记录:hadoop fs
Linux7 下Hadoop集群用户管理方案之三 用户认证组件Kerberos安装
Kerberos 协议 Kerberos协议主要用于计算机网络的身份鉴别(Authentication), 其特点是用户只需输入一次身份验证信息就可以凭借此验证获得的票据(ticket-granting ticket)访问多个服务,即SSO(Single Sign On)。由于在每个Client和Service之间建立了共享密钥,使得该协议具有相当的安全性。 Kerberos安装 1
关于Hadoop安全集群和非安全集群间Distcp的使用
1、需求:有两个集群,网络中节点是互通的,现在要用distcp进行文件迁移,但一个集群是非安全集群,一个是配置了kerberos认证的安全集群,怎么执行呢?               2、前提:两个集群都做了HA配置,所以要通过如下命令查看活动Namenode并获取其IP地址;     HA配置查看活动Namenode:hdfs haadmin -getServiceState nn1或n
[Hadoop基础]-- java代码Kerberos认证错误(hadoop本地库问题)
一、信息 2017-05-16 11:58:45 [ main:0 ] - [ WARN ] org.apache.hadoop.util.NativeCodeLoader.<clinit>(NativeCodeLoader.java:62) Unable to load native-hadoop library for your platform... using builti...
异常:安装完Hadoop之后,命令行输入hadoop却找不到命令的解决方法
大多数原因是没有配置环境变量解决方法 1. vim /etc/profile 2. 把这三条加到proflie文件的最后export JAVA_HOME=XXXX(在安装了jdk的前提下,echo $JAVA_HOME可以查看得到)export HADOOP_HOME=XXX(hadoop的安装路径)export PATH=.:$HADOOP_HOME/bin:$JAVA_HOME/bin:$PA...
文章热词 设计制作学习 机器学习教程 Objective-C培训 交互设计视频教程 颜色模型
相关热词 mysql关联查询两次本表 native底部 react extjs glyph 图标 大数据大神班 java大神班