windows平台安装Hadoop,启动报错No such file or directory

这几天在折腾windows下安装Hadoop,完全按照网上写的标准步骤。
参考博文:http://www.cnblogs.com/kinglau/p/3270160.html
好不容易到最后了,在启动Hadoop时,一直报错如标题。

格式化hdfs日志:
$ bin/hadoop namenode -format
DEPRECATED: Use of this script to execute hdfs command is deprecated.
Instead use the hdfs command for it.
15/07/13 23:07:53 INFO namenode.NameNode: STARTUP_MSG:
/************************************************************
STARTUP_MSG: Starting NameNode
STARTUP_MSG: host = 58-PC/192.168.0.102
STARTUP_MSG: args = [-format]
STARTUP_MSG: version = 2.7.0
STARTUP_MSG: classpath = D:\tools\cygwin32\home\lenovo\hadoop\etc\hadoop;D:\tools\cygwin32\home\lenovo\hadoop\share\hadoop\common\lib\activation-1.1.jar;D:\tools\cygwin32\home\lenovo\hadoop\share\hadoop\common\lib\apacheds-i18n-2.0.0-M15.jar;D:\tools\cygwin32\home\lenovo\hadoop\share\hadoop\common\lib\apacheds-kerberos-codec-2.0.0-M15.jar;D:\tools\cygwin32\home\lenovo\hadoop\share\hadoop\common\lib\api-asn1-api-1.0.0-M20.jar;D:\tools\cygwin32\home\lenovo\hadoop\share\hadoop\common\lib\api-util-1.0.0-M20.jar;D:\tools\cygwin32\home\lenovo\hadoop\share\hadoop\common\lib\asm-3.2.jar;D:\tools\cygwin32\home\lenovo\hadoop\share\hadoop\common\lib\avro-1.7.4.jar;D:\tools\cygwin32\home\lenovo\hadoop\share\hadoop\common\lib\commons-beanutils-1.7.0.jar;D:\tools\cygwin32\home\lenovo\hadoop\share\hadoop\common\lib\commons-beanutils-core-1.8.0.jar;D:\tools\cygwin32\home\lenovo\hadoop\share\hadoop\common\lib\commons-cli-1.2.jar;D:\tools\cygwin32\home\lenovo\hadoop\share\hadoop\common\lib\commons-codec-1.4.jar;D:\tools\cygwin32\home\lenovo\had
。。。。。。。。。。。。。。。。

STARTUP_MSG: java = 1.8.0_31
************************************************************/
15/07/13 23:07:53 INFO namenode.NameNode: createNameNode [-format]
15/07/13 23:07:54 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
Formatting using clusterid: CID-052de37d-497f-4dd3-80bc-6c6c8a26d5d0
15/07/13 23:07:55 INFO namenode.FSNamesystem: No KeyProvider found.
15/07/13 23:07:55 INFO namenode.FSNamesystem: fsLock is fair:true
15/07/13 23:07:56 INFO blockmanagement.DatanodeManager: dfs.block.invalidate.limit=1000
15/07/13 23:07:56 INFO blockmanagement.DatanodeManager: dfs.namenode.datanode.registration.ip-hostname-check=true
15/07/13 23:07:56 INFO blockmanagement.BlockManager: dfs.namenode.startup.delay.block.deletion.sec is set to 000:00:00:00.000
15/07/13 23:07:56 INFO blockmanagement.BlockManager: The block deletion will start around 2015 ▒▒▒▒ 13 23:07:56
15/07/13 23:07:56 INFO util.GSet: Computing capacity for map BlocksMap
15/07/13 23:07:56 INFO util.GSet: VM type = 32-bit
15/07/13 23:07:56 INFO util.GSet: 2.0% max memory 966.7 MB = 19.3 MB
15/07/13 23:07:56 INFO util.GSet: capacity = 2^22 = 4194304 entries
15/07/13 23:07:56 INFO blockmanagement.BlockManager: dfs.block.access.token.enable=false
15/07/13 23:07:56 INFO blockmanagement.BlockManager: defaultReplication = 1
15/07/13 23:07:56 INFO blockmanagement.BlockManager: maxReplication = 512
15/07/13 23:07:56 INFO blockmanagement.BlockManager: minReplication = 1
15/07/13 23:07:56 INFO blockmanagement.BlockManager: maxReplicationStreams = 2
15/07/13 23:07:56 INFO blockmanagement.BlockManager: shouldCheckForEnoughRacks = false
15/07/13 23:07:56 INFO blockmanagement.BlockManager: replicationRecheckInterval = 3000
15/07/13 23:07:56 INFO blockmanagement.BlockManager: encryptDataTransfer = false
15/07/13 23:07:56 INFO blockmanagement.BlockManager: maxNumBlocksToLog = 1000
15/07/13 23:07:56 INFO namenode.FSNamesystem: fsOwner = lenovo (auth:SIMPLE)
15/07/13 23:07:56 INFO namenode.FSNamesystem: supergroup = supergroup
15/07/13 23:07:56 INFO namenode.FSNamesystem: isPermissionEnabled = true
15/07/13 23:07:56 INFO namenode.FSNamesystem: HA Enabled: false
15/07/13 23:07:56 INFO namenode.FSNamesystem: Append Enabled: true
15/07/13 23:07:56 INFO util.GSet: Computing capacity for map INodeMap

0

6个回答

15/07/13 23:07:56 INFO util.GSet: VM type = 32-bit
15/07/13 23:07:56 INFO util.GSet: 1.0% max memory 966.7 MB = 9.7 MB
15/07/13 23:07:56 INFO util.GSet: capacity = 2^21 = 2097152 entries
15/07/13 23:07:56 INFO namenode.FSDirectory: ACLs enabled? false
15/07/13 23:07:56 INFO namenode.FSDirectory: XAttrs enabled? true
15/07/13 23:07:56 INFO namenode.FSDirectory: Maximum size of an xattr: 16384
15/07/13 23:07:56 INFO namenode.NameNode: Caching file names occuring more than 10 times
15/07/13 23:07:56 INFO util.GSet: Computing capacity for map cachedBlocks
15/07/13 23:07:56 INFO util.GSet: VM type = 32-bit
15/07/13 23:07:56 INFO util.GSet: 0.25% max memory 966.7 MB = 2.4 MB
15/07/13 23:07:56 INFO util.GSet: capacity = 2^19 = 524288 entries
15/07/13 23:07:56 INFO namenode.FSNamesystem: dfs.namenode.safemode.threshold-pct = 0.9990000128746033
15/07/13 23:07:56 INFO namenode.FSNamesystem: dfs.namenode.safemode.min.datanodes = 0
15/07/13 23:07:56 INFO namenode.FSNamesystem: dfs.namenode.safemode.extension = 30000
15/07/13 23:07:56 INFO metrics.TopMetrics: NNTop conf: dfs.namenode.top.window.num.buckets = 10
15/07/13 23:07:56 INFO metrics.TopMetrics: NNTop conf: dfs.namenode.top.num.users = 10
15/07/13 23:07:56 INFO metrics.TopMetrics: NNTop conf: dfs.namenode.top.windows.minutes = 1,5,25
15/07/13 23:07:56 INFO namenode.FSNamesystem: Retry cache on namenode is enabled
15/07/13 23:07:56 INFO namenode.FSNamesystem: Retry cache will use 0.03 of total heap and retry cache entry expiry time is 600000 millis
15/07/13 23:07:56 INFO util.GSet: Computing capacity for map NameNodeRetryCache
15/07/13 23:07:56 INFO util.GSet: VM type = 32-bit
15/07/13 23:07:56 INFO util.GSet: 0.029999999329447746% max memory 966.7 MB = 297.0 KB
15/07/13 23:07:56 INFO util.GSet: capacity = 2^16 = 65536 entries
Re-format filesystem in Storage Directory \tmp\hadoop-lenovo\dfs\name ? (Y or N) y
15/07/13 23:08:25 INFO namenode.FSImage: Allocated new BlockPoolId: BP-1334721993-192.168.0.102-1436800105782
15/07/13 23:08:25 INFO common.Storage: Storage directory \tmp\hadoop-lenovo\dfs\name has been successfully formatted.
15/07/13 23:08:26 INFO namenode.NNStorageRetentionManager: Going to retain 1 images with txid >= 0
15/07/13 23:08:26 INFO util.ExitUtil: Exiting with status 0
15/07/13 23:08:26 INFO namenode.NameNode: SHUTDOWN_MSG:
/************************************************************
SHUTDOWN_MSG: Shutting down NameNode at 58-PC/192.168.0.102
************************************************************/

lenovo@58-PC ~/hadoop
$ bin/start-all.sh
-bash: bin/start-all.sh: No such file or directory

0

折腾几天了,急盼大神指教。

0
0
lovehuangjiaju
zhouzhihubeyond 回复ych271033578: 另外,最好不要在window环境下跑hadoop,建Linux虚拟机跑,因为现在大多数人都是在linux下进行hadoop开发,网上很多答案都是解决linux下的hadoop问题
大约 4 年之前 回复
lovehuangjiaju
zhouzhihubeyond 回复ych271033578: 你Hadoop版本是多少?hadoop 2.0之后的start-all.sh已经被放在sbin目录下了
大约 4 年之前 回复
ych271033578
ych271033578 这个回答解决不了问题,还望详细指点
大约 4 年之前 回复
0
ych271033578
ych271033578 未能解决问题,说的太笼统,另外报的错误和他这个也不一样
大约 4 年之前 回复

问题依然还没解决,自己顶一下

0

在使用cygwin装完hadoop后,输入命令

./hadoop version

出现如下错误
./hadoop:line 297:c:\java\jdk1.6.0_05\bin/bin/java:No such file or directory
./hadoop:line 345:c:\Java\jdk1.6.0_05\bin/bin/java:No such file o......
答案就在这里:hadoop no such file or directory问题
----------------------Hi,地球人,我是问答机器人小S,上面的内容就是我狂拽酷炫叼炸天的答案,除了赞同,你还有别的选择吗?

0
Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!
其他相关推荐
Zookeeper启动报错
最近刚开始接触zookeeper,按照网上教程安装了单机版,启动的时候会报错,但是实际的进程也启动了。 n/zookeeper_server.pid: No such file or directory FAILED TO WRITE PID n网上说是zoo.cfg文件配置中多了空格,zookeeper在读取此配置文件时会把空格也读进文件名,我删除了一次没有起作用,后来把每项配置中存在的空格都删除
Hadoop常见问题总结
hadoop配置问题:put: `.’: No such file or directorynn执行hdfs dfs -ls出现put: .': No such file or directory n出现这个问题的原因是当前登录用户在HDFS中没有HOME文件夹,执行下面命令即可解决:nnhadoop fs -mkdir -p /user/[current login user]nn现在执行 ha
hadoop遇见的错误
一:put: `input': No such file or directoryn错误来源:nbin/hdfs dfs -put etc/hadoop inputn解决方案:nbin/hadoop fs -mkdir /user/rootnbin/hadoop fs -mkdir /user/root/inputnn原因分析:n1可能是本地没有这个文件 但是一般不是这个错误 就
hadoop 安装glibc-2.14遇到的问题
安装glibc-2.14遇到的问题(CentOS 6.4 64位 标准版DVD):nn1.No rule to make target `/...libdl.so.2', needed by `/...elf/sprof'.  Stop.  nn解决方法: 先make all 再make installnn nn2.Can't open configuration file /opt/glibc-...
再次折腾-启动hadoop时遇到问题
期间运行namenode的试验机因跑其它程序和任务重启过几次导致以前启动的hadoop相关的进程和服务都停了。今天有空再跑一次,遇到各种莫名其妙问题,好事多磨,也算是对先前没遇到问题的一个补充。nnn1. namenode 9000端口被占导致namenode startup failedn       这段本地调试其它程序时启动过xdebug,它的默认端口就是9000, netstat
Hadoop常见报错解答
1、启动Hadoop后发现datanode没有启动,报如下错误:rnWARN org.apache.hadoop.hdfs.server.common.Storage: Failed to add storage directory [DISK]file:/opt/hadoop/hadoop-2.7.3/hdfs/data/rnjava.io.IOException: Incompatible c
hadoop错误总结
在尝试使用hbase中的数据作为MR(MapReduce)的输入源的时候,遇到了一个看似莫名其妙的问题! n这是我的源码package com.yc.hbase.mapreduce;import java.io.IOException;nimport java.util.Arrays;nimport java.util.Date;nimport java.util.List;import org.a
安装kibana
说明:此次部署中kibana是安装在另外的一台主机上,因此,需要重新安装JDK,详细见第一篇nn1、kibana的主配置文件/kibana/config/kibana.ymlnnn#监听端口,默认为5601nnserver.port: 5601nn#监听主机nnserver.host: "192.168.32.129"nn#指定elasticsearch的URLnnelasticsearch.ur...
Hadoop 数据节点DataNode异常
使用start-all.sh脚本或者先后执行start-dfs.sh、start-yarn.sh脚本启动Hadoop后,通过jps命令检测DataNode节点进程发现有DataNode进程,数秒后DataNode进程莫名其妙“消失”了,只有Jps、NodeManager两个进程。简而言之就是DataNode进程异常,由于某种原因导致无法启动或者启动后数据节点DataNode进程自动关闭。
无jar版windows平台hadoop-2.6.1.zip
在windows中编译好的 下载下来就可以直接使用 适合初学者
[Hadoop]SSH免密码登录以及失败解决方案
1. 创建ssh-keynnn这里我们采用rsa方式,使用如下命令:nxiaosi@xiaosi:~$ ssh-keygen -t rsa -f ~/.ssh/id_rsaGenerating public/private rsa key pair.Created directory '/home/xiaosi/.ssh'.Enter passphrase (empty for no pa
第52课:Hadoop链式MapReduce编程实战
都是这个问题nWARN [Thread-3] (org.apache.hadoop.mapred.LocalJobRunner:560) 2016-02-27 07:26:45,428 ---- job_local363463905_0001njava.lang.Exception: java.lang.RuntimeException: java.lang.ArrayIndexOutOfBo
教你Windows平台安装配置Hadoop2.5.2(不借助cygwin)
版权声明:本文为博主原创文章,未经博主允许不得转载。nnnnn目录(?)[-]nn一 安装hadoop252二配置hadoop环境变量三修改hadoop配置文件四替换文件五运行环境接下来上传测试操作HDFSnn附录hadoop自带的web控制台GUInnnnnnn刚入门Hadoop,开发环境的搭建估计能把一部分人逼走。我也差点疯了。 n估计能看到这篇文章的小伙伴们
DataNode 启动失败
DataNode启动失败,报错rn2016-12-06 18:17:35,191 WARN org.apache.hadoop.hdfs.server.common.Storage: Failed to add storage directory [DISK]file:/hadoop/data/njava.io.IOException: Incompatible clusterIDs in /ha
Dubbo服务启动报错
最近在优化Dubbo项目过程中遇到了一下问题,在启动dubbo时报一下错误rnLinux环境 + Dubbo 2.5.3rnrnjava.lang.IllegalArgumentException: Invalid registry store file /pub/.dubbo/dubbo-registry-224.5.6.7.cache, cause: Failed to create dire
Hadoop安装问题汇总
1、hdfs namenode -format 时出现如下报错nnn18/08/01 11:04:01 WARN namenode.NameNode: Encountered exception during format: njava.io.IOException: Cannot create directory /home/zkpk/hadoopdata/dfs/name/currentn a...
输入./start-all.sh报错。。
root@ubuntu:/home/hadoop1/opt/hadoop-2.6.5/sbin# ./start-all.sh This script is Deprecated. Instead use start-dfs.sh and start-yarn.sh/home/hadoop1/opt/hadoop-2.6.5/bin/hdfs: line 276: /home/hadoop1/op...
hadoop fs -cat 不能查看文件
cat: `/user/root/ds.txt': No such file or directory
[CDH5] CDH5.13.1 hue服务红色警告,启动失败
CentOS7, 安装CDH5.13.1集群完成后,hue上面红色感叹号,日志提示[Errno 2] No such file or directory: '/data/log/hue-httpd/error_log'原因:服务器环境没有预先安装httpd,mod_ssl服务解决方法:yum -y install httpdyum -y install mod_ssl安装以上服务后重启hue,启动...
windows平台下安装配置Hadoop
安装配置流程nn1.下载Hadoop软件:http://archive.apache.org/dist/hadoop/core/nn此处下载版本hadoop-2.7.7,解压至目录(D:\job\hadoop\hadoop-2.7.7)nnnnnn 注:如果后续要安装Spark,那么最好安装和Spark版本对应的Hadoop版本nn 查看hadoop/spark对应版本:http://s...
hadoop 搭建后初始化及运行出现错误 cannot execute binary file
请问大神们  这是什么问题  软件版本操作系统:红帽5   jdk:10.1.0  hadoop :3.1.0  我是根据书上一步一步来的 可能版本和用的系统不一样 书上是centos急!!!! ...
启动mysql的时候,报错pid
纠结了一个月的启动mysql的问题,今天终于得到解决,也搞清楚了问题的原因出在哪里。rnroot@l]# /etc/init.d/mysqld startrnStarting MySQL SUCCESS! rn[root@l]# Logging to '/data/mysql/file.err'.rnrm: cannot remove ‘/data/mysql/file.pid’: Is a di
Hadoop状态页面的Browse the filesystem链接无效的问题
nrnNameNode '192.168.1.164:9000'rnrnnnStarted: rnTue Jul 06 14:37:10 CST 2010 rnnnVersion: rn0.20.2, r911707 rnnnCompiled: rnFri Feb 19 08:07:34 UTC 2010 by chrisdo rnnnUpgrades: rnThere are no upgrad...
Sqoop2 (1.99.7)安装部署及问题解决
Sqoop 是一个开源工具,主要用于在Hadoop和传统的数据库(Mysql, Oracle,等)进行数据传递,可以将一个关系型数据库中的数据导入Hadoop 的HDFS中,也可以将HDFS中的数据导出到关系型数据库中。n1.  目前主要有sqoop1 和sqoop2两个版本,两者架构如下图所示:na.  sqoop1 架构:
hadoop不同用户提交mr任务的时候存在某个用户报错
hadoop jar /usr/share/wordcount WordCount/WordCount01 -Dinput="input/WeiboAD/TF/*" -Doutput="input/WeiboAD/TF/output"rn17/05/22 16:19:39 INFO Configuration.deprecation: session.id is deprecated. Inste
kettle安装以及运行注意事项
ETL工具kettle使用资料整理rnrnrnrnrnkettle工具安装rnrnkettle是开源的etl开发工具,软件包中包含了windows,linux,mac三个版本。下载地址:https://sourceforge.net/projects/pentaho/files/latest/downloadrn解压下载的软件包rnrn拷贝Hadoop的配置文件到PDI的pdi-ce-7.0.0.
Hadoop3.0安装以及新特性介绍
Apache Hadoop 3.0.0在前一个主要发行版本(hadoop-2.x)中包含了许多重要的增强功能 n环境安装: n192.168.18.160 CDH1 n192.168.18.161 CDH2 n192.168.18.162 CDH3 n192.168.18.163 CDH41,java8是必须 n所有hadoop 的jar都是利用java8的运行时版本进行编译的。依然在使用java7
解决hue编写MR streaming 无法上传文件问题
今天在使用hue编写streaming程序的时候,上传文件一直出现报错,报错信息如下:rnrnCaused by: java.io.IOException: Cannot run program "/u01/yarn/nm/usercache/xuemingpang/appcache/application_1443862109059_23987/container_1443862109059_2
CDH安装和使用时碰到的各种错误记录(基于5.8)
能看日志的地方主要就是:/var/log 目录下。 n诸如:cloudera-scm-agent、hadoop-hdfs、hadoop-yarn、hbase等等目录下都记录着各种日志。状况1:有一个DataNode没有启动。 n到这个DataNode对应的主机上,查看其日志文件:cat /var/log/hadoop-hdfs/hadoop-cmf-hdfs-DATANODE-slave2.log.
zookeeper单节点安装以及一些问题的解决办法
zookeeper单节点安装以及一些问题的解决办法#n下载:http://archive.apache.org/dist/zookeeper/zookeeper-3.4.6/n解压后,把conf中的zoo_sample.cfg复制一份成为zoo.cfg,修改以下里面的内容:n# The number of milliseconds of each tickntickTime=2000n# The ...
hadoop dfs -ls 不起作用的问题
在hdfs上创建文件,查看文件时,发现使用如下明明并不生效hadoop fs -mkdir /data创建文件失败 n查看文件`hadoop fs -ls /`data则提示ls: Cannot access /data: No such file or directory.查看文件hadoop fs -ls /显示的是系统的根目录。 n查了一下,说是新版的hadoop使用hadoop dfs -l
【Mapreduce】从代码上解决Output directory already exists错误,避免每次调试都要手动删除输出文件夹
Mapreduce调试很蛋疼的,它不会覆盖上一次输出的结果,如果发现输出文件夹已经存在,比如我的调试输出文件夹是hdfs://192.168.230.129:9000/output,它会直接给你报如下错误:rnException in thread "main" org.apache.hadoop.mapred.FileAlreadyExistsException: Output director
安装cdh遇到的问题记录
由于项目需要,在开发环境上搭建cdh 5.12版本。因此,记录几个在搭建时遇到的问题及解决。1.  需要在部署的每台服务器上都装上jdk1.7,否则安装时会报错如下:Error: JAVA_HOME is not set and Java could not be found。解决:之前已经在每台机器上都安装过了jdk1.7,仍旧报这个错误。于是查了下,需要在/etc/hadoop/conf/ha...
Hadoop2.9.1环境搭建
Typically one machine in the cluster is designated asthe NameNode and another machine as the ResourceManager, exclusively. These arethe masters. Other services (such as Web App Proxy Server and MapRed...
hive启动报错汇总以及解决办法
1、Relative path in absolute URI: ${system:java.io.tmpdir%7D/$%7Bsystem:user.name%7D需要将hive-site.xml配置文件中作为值使用的${system:java.io.tmpdir}/${system:user.name}全部替换为/path/to/hive/logs2、Unable to instantiate...
Solr(二)——Solr单机部署
(1)安装JDK和配置相关环境变量rn(2)下载Solr:http://www.apache.org/dyn/closer.lua/lucene/solr/6.6.0rn(3)移动Solr二进制分发包到安装目录下并解压,比如将solr安装在/opt目录下rntar -zxvf solr-6.6.0.tgz(4)修改solr目录到所有者为指定的用户组和用户,不建议以root权限运行solrrncho
新手安装hadoop详细教程
虚拟机安装hadoop步骤 n 1.使用的Linux系统是ubuntu14.04.1版本的,使用是jdk是1.8,使用的是Hadoop-2.7.1 n 2.刚装的系统里面可能很多工具命令都没有,当用到什么的时候会有提示安装,将需要的安装好就行 n 3.将下载好的jdk和Hadoop安装包上传到linux虚拟机上 n 4.创建一个用户,如hadoop(当然,也可以直接使用roo
Linux系统安装VMware Tools和同W7共享文件遇到的问题
我用的系统为CentOS6.5 minimal版本 nminimal版本默认不启动网络,所以要自己配置。vi /etc/sysconfig/network-script/ifcfg-eth01 NM_CONTROLLED="no" #修改为no不依赖VMware NetworkManager控制n2 ONBOOT="yes" #修改为yes设置开机启动NetworkMan
Hadoop本地库
#hadoop checknative -an2019-04-15 04:17:26,229 INFO bzip2.Bzip2Factory: Successfully loaded & initialized native-bzip2 library system-nativen2019-04-15 04:17:26,233 INFO zlib.ZlibFactory: Successf...
安装、配置好hive后,在启动过程中报的错及解决方法
启动hive时报错:n问题1:nException in thread "main" java.lang.RuntimeException: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.ipc.StandbyException): Operation category READ is not supported in stat
文章热词 机器学习教程 Objective-C培训 交互设计视频教程 颜色模型 设计制作学习
相关热词 mysql关联查询两次本表 native底部 react extjs glyph 图标 file学习 java java的file学习