2 qq 23335793 qq_23335793 于 2016.04.18 11:57 提问

windows平台搭建hadoop的一些问题(eclipse) 5C

小生最近在windows上搭建hadoop,按照官网的教程,应该是搭建起来了(单节点):可以创建和删除hdfs上的文件,在eclipse里面也可以看到hdfs,如果我添加文件,eclipse里也会跟着更新,所以我觉得应该是搭建起来了,如果不是求大神指导。
问题是:在eclipse里我编写了wordcount代码(应该不会错的,我照着书上编的,是0.20.0版),然后使用run configurations设置Arguments来运行(hdfs://English.txt hdfs://test/)但是失败了,报错如下:

log4j:WARN No appenders could be found for logger (org.apache.hadoop.metrics2.lib.MutableMetricsFactory).
log4j:WARN Please initialize the log4j system properly.
log4j:WARN See http://logging.apache.org/log4j/1.2/faq.html#noconfig for more info.
Exception in thread "main" java.lang.IllegalArgumentException: java.net.UnknownHostException: English.txt
at org.apache.hadoop.security.SecurityUtil.buildTokenService(SecurityUtil.java:373)
at org.apache.hadoop.hdfs.NameNodeProxies.createNonHAProxy(NameNodeProxies.java:258)
at org.apache.hadoop.hdfs.NameNodeProxies.createProxy(NameNodeProxies.java:153)
at org.apache.hadoop.hdfs.DFSClient.(DFSClient.java:602)
at org.apache.hadoop.hdfs.DFSClient.(DFSClient.java:547)
at org.apache.hadoop.hdfs.DistributedFileSystem.initialize(DistributedFileSystem.java:139)
at org.apache.hadoop.fs.FileSystem.createFileSystem(FileSystem.java:2591)
at org.apache.hadoop.fs.FileSystem.access$200(FileSystem.java:89)
at org.apache.hadoop.fs.FileSystem$Cache.getInternal(FileSystem.java:2625)
at org.apache.hadoop.fs.FileSystem$Cache.get(FileSystem.java:2607)
at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:368)
at org.apache.hadoop.fs.Path.getFileSystem(Path.java:296)
at org.apache.hadoop.mapreduce.lib.input.FileInputFormat.addInputPath(FileInputFormat.java:518)
at wordcount.main(wordcount.java:65)
Caused by: java.net.UnknownHostException: English.txt
... 14 more

求大神指教一二,帮小弟摆脱这个奇怪的问题!

1个回答

paaking
paaking   2016.04.18 14:32

如果我没猜错的话应该是你的Arguments设置的问题;给你看个我这边的截图。希望能帮到你。图片说明

paaking
paaking 回复g101418: 192.168.216.135这个是你虚拟机上master主节点的IP地址。端口号8020是根据你自己在~/hadoop2.2.0/etc/hadoop目录下的core-site.xml中配置的。这一步你可以参考http://www.cnblogs.com/flyoung2008/archive/2011/12/09/2281400.html 顺便讲下 我也是正在学习中,最近也是出现各种问题。没法,慢慢解决~祝好运
大约 2 年之前 回复
qq_23335793
qq_23335793 请问您在里面所填的"192.168.216.135"是什么?如果是本机地址的话不应该是127.0.0.1吗? 还有请问您"8020"是怎么得出的,为什么不是别的端口号? 小弟技术平平,问题很幼稚,请见谅。
大约 2 年之前 回复
Csdn user default icon
上传中...
上传图片
插入图片
准确详细的回答,更有利于被提问者采纳,从而获得C币。复制、灌水、广告等回答会被删除,是时候展现真正的技术了!
其他相关推荐
Hadoop on Windows With Eclipse(伪分布式)
1介绍 Hadoop是一个强大的架构,用于自动并行化的计算任务。不幸的是某些编程对于它是个挑战。Hadoop程序让人难以理解和调试。有一种方法可以在开发人员的机器上本地运行一个简化版的Hadoop集群使之更容易一些。本教程描述如何设置这样一个集群运Windows平台上。它还描述了如何使用Eclipse集成这个集群,一个主要的Java开发环境。 2.安装前的准备 在我们开始之前,要确保以下组件
windows Eclipse远程调用Hadoop
windows Eclipse远程调用Hadoop
Windows Eclipse Hadoop 开发
本文详细介绍了如何在windows环境下,开发调试hadoop mapreduce程序的环境准备!
windows eclipse 远程连接 hadoop(linux)
1.win7 32位,嗯,机子够烂,这就是wo 2.
windows下eclipse调试hadoop详解
1)下载Eclipse http://www.eclipse.org/downloads/ Eclipse Standard 4.3.2 64位   2) 下载hadoop版本对应的eclipse插件 我的hadoop是1.0.4,因此下载hadoop-eclipse-plugin-1.0.4.jar 下载地址:http://download.csdn.net/detail/m_sta
windows下搭建hadoop开发环境(Eclipse)
windows下搭建hadoop开发环境(Eclipse)
[Windows下eclipse调试hadoop环境配置]
Windows的hadoop环境配置      解压hadoop-2.5.0.zip到目录D:\ Program Files \ Java \ hadoop-2.5.0。      配置Hadoop的环境变量:      HADOOP_HOME = d:\ PROGRAMFILES \的Java \ Hadoop的2.5.0      PATH =%HADOOP_HOME%\ bin中eclips...
windows下eclipse连接hadoop
首先介绍配置环境 linux版本 CentOS release 6.7 64位 一个master,若干slave windows版本 win7 32位 hadoop 2.6.0版本 1 安装插件hadoop-eclipse-plugin-2.6.0.jar,下载后放到eclipse/plugins,重启eclipse 2 在windows下解压hadoop-2.6.0
hadoop 开发环境搭建 (windows \ eclipse)
搭建开发环境所需文件已经上传到 hadoop开发环境搭建所需文件将hadoop-2.6.2.tar.gz 解压到 D 盘配置环境变量(系统变量) HADOOP_HOME = D:\hadoop-2.6.2配置环境变量(系统变量)  HADOOP_USER_NAME = (服务器hadoop的用户名)将hadoop-eclipse-plugin-2.2.0.jar 放到 eclipse  plugi...
hadoop eclipse windows
首先说一下本人的环境: Windows7  64位系统 Spring Tool Suite  Version: 3.4.0.RELEASE Hadoop2.6.0 一.简介   Hadoop2.x之后没有Eclipse插件工具,我们就不能在Eclipse上调试代码,我们要把写好的java代码的MapReduce打包成jar然后在Linux上运行,所以这