我正好做过这个。如果你的Hadoop配置文件没有错。浏览器是直接可以查看的。在windows下eclipse开发Hadoop，将云服务器的公网ip加入到windows的hosts文件中，连接hdfs(需要关闭hdfs文件权限，否则无法对相应文件进行操作，关闭权限在hdfs-site.xml中进行配置)，将相应的jar包导入项目，就可以开发了。
2条回答
-
采纳
点赞 评论 复制链接分享
- 采纳
提交
相关推荐
- 4年前回答 2 已采纳 本人在阿里云的服务器上配置了一个伪分布式的hadoop 可以正常运行，现在想在自己的电脑用浏览器来查看hadoop的运行情况，还有用eclipse远程连接hadoop，我通过公网ip加对应的端口号，取连不进去，请问这是为什么，是需要使用内网穿透功能吗？
- 回答 3 已采纳 图片说明](https://img-ask.csdn.net/upload/201611/19/1479556835_917842.png) 能够连接，但运行程序时候异常
- 回答 3 已采纳 阿里云的centos服务器 上面运行了一个java进程，jsp得到的是：7768 本地打开jconsole地址写：106.14.224.11:7768 然后账户密码 显示连接超时 ping 可以通 远程机器hosts设置 ``` 127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4 ::1 localhost localhost.localdomain localhost6 localhost6.localdomain6 106.14.224.11 master.hadoop ``` 远程机器hostname命令 [root@master ~]# hostname master.hadoop 远程机器hostname -i命令 [root@master ~]# hostname -i 106.14.224.11 远程机器查看防火墙状态命令 [root@master ~]# service iptables status Redirecting to /bin/systemctl status iptables.service Unit iptables.service could not be found. 求解，打开jconsole连接，不是白屏，就是连接超时
- 回答 1 已采纳 运行的环境是：Ubuntu14.04+hadoop2.6.1 用的是virtualBox虚拟机，然后安装了一个master和三个slave节点 hadoop是可以成功启动的，没有任何问题 在Ubuntu安装了eclipse，用java写了word count的程序，源码如下： ``` package wordcount; import java.io.IOException; import java.util.StringTokenizer; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.LongWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Job; import org.apache.hadoop.mapreduce.Mapper; import org.apache.hadoop.mapreduce.Reducer; import org.apache.hadoop.mapreduce.lib.input.FileInputFormat; import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat; /** * @author * @version 创建时间：2017年9月9日 上午8:50:51 类说明 */ public class Wordcount { public static class TokenizerMapper extends Mapper { private final static IntWritable one = new IntWritable(1); private Text word = new Text(); protected void map(LongWritable key, Text value, Mapper.Context context) throws IOException, InterruptedException { StringTokenizer line = new StringTokenizer(value.toString()); while (line.hasMoreTokens()) { word.set(line.nextToken()); context.write(word, one); } } } public static class IntSumReducer extends Reducer { private IntWritable result = new IntWritable(); protected void reduce(Text key, Iterable values, Reducer.Context context) throws IOException, InterruptedException { int sum = 0; for (IntWritable obj : values) { sum += obj.get(); } result.set(sum); context.write(key, result); } } public static void main(String[] args) throws Exception { Configuration conf = new Configuration(); Job job = Job.getInstance(conf, "word count"); job.setJarByClass(Wordcount.class); job.setMapperClass(TokenizerMapper.class); job.setCombinerClass(IntSumReducer.class); job.setReducerClass(IntSumReducer.class); job.setOutputKeyClass(Text.class); job.setOutputValueClass(IntWritable.class); FileInputFormat.addInputPath(job, new Path("hdfs://master:9000/user/hduser/demo/test.txt")); FileOutputFormat.setOutputPath(job, new Path("hdfs://master:9000/user/hduser/demo/wordcount")); //FileInputFormat.addInputPath(job, new Path(args[0])); //FileOutputFormat.setOutputPath(job, new Path(args[1])); System.exit(job.waitForCompletion(true) ? 0 : 1); } } ``` 启动hadoop后，在eclipse中直接运行上面的程序，运行成功，生成了wordcount文件夹，里面有_SUCCESS文件，也有统计的结果文件 然后我想把程序打包成jar文件来运行，先把上面程序中的： ``` FileInputFormat.addInputPath(job, new Path("hdfs://master:9000/user/hduser/demo/test.txt")); FileOutputFormat.setOutputPath(job, new Path("hdfs://master:9000/user/hduser/demo/wordcount")); ``` 改成如下： ``` FileInputFormat.addInputPath(job, new Path(args[0])); FileOutputFormat.setOutputPath(job, new Path(args[1])); ``` 就是通过终端输入这两个参数 用eclipse的export打包成jar文件，后在终端输入： ``` hadoop jar wordcount.jar wordcount.Wordcount hdfs://master:9000/user/hduser/demo/test.txt hdfs://master:9000/user/hduser/demo/wordcount ``` 运行就报错了，报错情况如下： ``` 17/09/09 11:18:53 INFO client.RMProxy: Connecting to ResourceManager at master/192.168.56.100:8050 17/09/09 11:18:54 WARN mapreduce.JobResourceUploader: Hadoop command-line option parsing not performed. Implement the Tool interface and execute your application with ToolRunner to remedy this. 17/09/09 11:18:55 INFO input.FileInputFormat: Total input paths to process : 1 17/09/09 11:18:55 INFO mapreduce.JobSubmitter: number of splits:1 17/09/09 11:18:55 INFO mapreduce.JobSubmitter: Submitting tokens for job: job_1504926710828_0001 17/09/09 11:18:56 INFO impl.YarnClientImpl: Submitted application application_1504926710828_0001 17/09/09 11:18:56 INFO mapreduce.Job: The url to track the job: http://master:8088/proxy/application_1504926710828_0001/ 17/09/09 11:18:56 INFO mapreduce.Job: Running job: job_1504926710828_0001 17/09/09 11:19:14 INFO mapreduce.Job: Job job_1504926710828_0001 running in uber mode : false 17/09/09 11:19:14 INFO mapreduce.Job: map 0% reduce 0% 17/09/09 11:19:14 INFO mapreduce.Job: Job job_1504926710828_0001 failed with state FAILED due to: Application application_1504926710828_0001 failed 2 times due to AM Container for appattempt_1504926710828_0001_000002 exited with exitCode: 1 For more detailed output, check application tracking page:http://master:8088/proxy/application_1504926710828_0001/Then, click on links to logs of each attempt. Diagnostics: Exception from container-launch. Container id: container_1504926710828_0001_02_000001 Exit code: 1 Stack trace: ExitCodeException exitCode=1: at org.apache.hadoop.util.Shell.runCommand(Shell.java:538) at org.apache.hadoop.util.Shell.run(Shell.java:455) at org.apache.hadoop.util.Shell$ShellCommandExecutor.execute(Shell.java:715) at org.apache.hadoop.yarn.server.nodemanager.DefaultContainerExecutor.launchContainer(DefaultContainerExecutor.java:211) at org.apache.hadoop.yarn.server.nodemanager.containermanager.launcher.ContainerLaunch.call(ContainerLaunch.java:302) at org.apache.hadoop.yarn.server.nodemanager.containermanager.launcher.ContainerLaunch.call(ContainerLaunch.java:82) at java.util.concurrent.FutureTask.run(FutureTask.java:262) at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1152) at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:622) at java.lang.Thread.run(Thread.java:748) Container exited with a non-zero exit code 1 Failing this attempt. Failing the application. 17/09/09 11:19:14 INFO mapreduce.Job: Counters: 0 ``` 去查了下日志文件， ``` 2017-09-09 11:18:55,869 INFO org.apache.hadoop.hdfs.StateChange: DIR* completeFile: /tmp/hadoop-yarn/staging/hduser/.staging/job_1504926710828_0001/job.xml is closed by DFSClient_NONMAPREDUCE_-1306163227_1 2017-09-09 11:18:59,502 INFO org.apache.hadoop.hdfs.server.blockmanagement.CacheReplicationMonitor: Rescanning after 30000 milliseconds 2017-09-09 11:18:59,503 INFO org.apache.hadoop.hdfs.server.blockmanagement.CacheReplicationMonitor: Scanned 0 directive(s) and 0 block(s) in 1 millisecond(s). 2017-09-09 11:19:12,241 INFO org.apache.hadoop.ipc.Server: IPC Server handler 2 on 9000, call org.apache.hadoop.hdfs.protocol.ClientProtocol.getBlockLocations from 192.168.56.102:53610 Call#7 Retry#0: java.io.FileNotFoundException: File does not exist: /tmp/hadoop-yarn/staging/hduser/.staging/job_1504926710828_0001/job_1504926710828_0001_1.jhist 2017-09-09 11:19:12,293 INFO org.apache.hadoop.ipc.Server: IPC Server handler 4 on 9000, call org.apache.hadoop.hdfs.protocol.ClientProtocol.getBlockLocations from 192.168.56.102:53610 Call#8 Retry#0: java.io.FileNotFoundException: File does not exist: /tmp/hadoop-yarn/staging/hduser/.staging/job_1504926710828_0001/job_1504926710828_0001_1.jhist 2017-09-09 11:19:29,502 INFO org.apache.hadoop.hdfs.server.blockmanagement.CacheReplicationMonitor: Rescanning after 30000 milliseconds 2017-09-09 11:19:29,502 INFO org.apache.hadoop.hdfs.server.blockmanagement.CacheReplicationMonitor: Scanned 0 directive(s) and 0 block(s) in 0 millisecond(s). 2017-09-09 11:19:42,634 INFO org.apache.hadoop.hdfs.server.namenode.FSNamesystem: Roll Edit Log from 192.168.56.100 2017-09-09 11:19:42,634 INFO org.apache.hadoop.hdfs.server.namenode.FSEditLog: Rolling edit logs 2017-09-09 11:19:42,634 INFO org.apache.hadoop.hdfs.server.namenode.FSEditLog: Ending log segment 29 2017-09-09 11:19:42,635 INFO org.apache.hadoop.hdfs.server.namenode.FSEditLog: Number of transactions: 40 Total time for transactions(ms): 6 Number of transactions batched in Syncs: 0 Number of syncs: 27 SyncTimes(ms): 545 2017-09-09 11:19:42,704 INFO org.apache.hadoop.hdfs.server.namenode.FSEditLog: Number of transactions: 40 Total time for transactions(ms): 6 Number of transactions batched in Syncs: 0 Number of syncs: 28 SyncTimes(ms): 613 2017-09-09 11:19:42,704 INFO org.apache.hadoop.hdfs.server.namenode.FileJournalManager: Finalizing edits file /usr/local/hadoop/hadoop_data/hdfs/namenode/current/edits_inprogress_0000000000000000029 -> /usr/local/hadoop/hadoop_data/hdfs/namenode/current/edits_0000000000000000029-0000000000000000068 2017-09-09 11:19:42,704 INFO org.apache.hadoop.hdfs.server.namenode.FSEditLog: Starting log segment at 69 2017-09-09 11:19:59,503 INFO org.apache.hadoop.hdfs.server.blockmanagement.CacheReplicationMonitor: Rescanning after 30001 milliseconds 2017-09-09 11:19:59,503 INFO org.apache.hadoop.hdfs.server.blockmanagement.CacheReplicationMonitor: Scanned 0 directive(s) and 0 block(s) in 0 millisecond(s). 2017-09-09 11:20:29,504 INFO org.apache.hadoop.hdfs.server.blockmanagement.CacheReplicationMonitor: Rescanning after 30001 milliseconds 2017-09-09 11:20:29,504 INFO org.apache.hadoop.hdfs.server.blockmanagement.CacheReplicationMonitor: Scanned 0 directive(s) and 0 block(s) in 0 millisecond(s). 2017-09-09 11:20:42,759 INFO org.apache.hadoop.hdfs.server.namenode.FSNamesystem: Roll Edit Log from 192.168.56.100 2017-09-09 11:20:42,759 INFO org.apache.hadoop.hdfs.server.namenode.FSEditLog: Rolling edit logs 2017-09-09 11:20:42,759 INFO org.apache.hadoop.hdfs.server.namenode.FSEditLog: Ending log segment 69 2017-09-09 11:20:42,759 INFO org.apache.hadoop.hdfs.server.namenode.FSEditLog: Number of transactions: 2 Total time for transactions(ms): 0 Number of transactions batched in Syncs: 0 Number of syncs: 2 SyncTimes(ms): 24 2017-09-09 11:20:42,791 INFO org.apache.hadoop.hdfs.server.namenode.FSEditLog: Number of transactions: 2 Total time for transactions(ms): 0 Number of transactions batched in Syncs: 0 Number of syncs: 3 SyncTimes(ms): 56 ``` 在这里面报了一个错误： ``` java.io.FileNotFoundException: File does not exist: /tmp/hadoop-yarn/staging/hduser/.staging/job_1504926710828_0001/job_1504926710828_0001_1.jhist ``` 新手，不知道怎么办了
- 回答 2 已采纳 window下连接hadoop集群报错，已经把hadoop.dll放在window下的hadoop的bin目录了，system32也放了，还是无效，请问怎么办？？
- 回答 3 已采纳 服务器是一个云服务器，内存为1G，CPU为1核。 然后执行一个Hadoop本身自带的example报错的。报错信息如下： # There is insufficient memory for the Java Runtime Environment to continue. # Native memory allocation (mmap) failed to map 12288 bytes for committing reserved memory. 执行的命令是： hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.5.jar grep /input/hadoop/core-site.xml /user/test1 'dfs[a-z.]+'
- 回答 1 已采纳 
- 回答 1 已采纳 1.hadoop2.7.7版本 2报错截图 3.没有出现挂datanode的问题[图片]  4.可以从web端正常访问和下载
- 逆袭的小学生的博客 前言: 在公司用到了hadoop,于是想搭建一个hadoop环境.从慕课网上找了门 Hadoop基础知识与电商网站日志数据分析课学了下,这是笔记,供本人复习之用...2.2.2 让本地能通过ssh远程连接阿里云服务器 2.3hadoop的安装 第...
- hrainning的博客 先决条件：本文默认hadoop安装成功。若未安装可参考： http://dblab.xmu.edu.cn/blog/install-hadoop/ ... 1.登录阿里云控制台，修改安全组，修改完毕后重启阿里云 ...
- 等故事长大的博客 通过阿里云内网搭建Hadoop集群后，使用Idea无法进行上传下载操作，在安全组中开放相应端口仍然无法解决，因此更改hosts映射，换为外网搭建集群，使用Idea正常访问
- 独家de记忆的博客 阿里云ECS服务器上hadoop安装（单机） 环境说明： jdk 1.8.0_181 系统：GentOs 7 准备工作 创建hadoop安装目录，数据目录 mkdir /usr/local/webserver/hadoop mkdir /data/hadoop/temp mkdir /...
- RayBreslin的博客 远程连接服务器，从而可以再Windows下操作Linux服务器系统，使得操作非常方便。 2.配置方法： （1）选择“连接”-》 （2）新建连接 （3）新建会话配置 （4）连接服务器即可！ 二、notepad++ 1....
- NBA首席形象大使阿坤的博客 远程式：远程部署Hadoop，本地安装IDEA并连接， 本文介绍第二种。 文章目录一、安装配置Hadoop(1)虚拟机伪分布式(2)云服务器分布式二、配置IDEA1、安装配置Maven2、新建Maven项目三、设置连接Hadoop1、Linux中操作2...
- 上苍保佑吃饱饭的人们的博客 1 使用MobaXtem工具连接云服务器时用的是外网ip连接 2 修改/etc/hosts文件时应当写内网ip映射关系 3 在配置文件中修改时涉及到本机写内网映射 4 云服务器的防火墙是not running状态 不需要关闭 5 在控制台的网络与...
- qq_37457432的博客 使用阿里云配置完全分布式全过程
- 心里有道光的博客 第二天使用SecureCRT连接阿里云实例hadoop103，总是连接不上,提示截图： 解决方案： 1.打开SSH2的配置信息 2.查看服务器的端口不一致 修改端口号为47.100.42.218,然后点击ok 重新连接hadoop103,点击Accept&...
- 2年前小杰要吃蛋的博客 Xshell 6连接阿里云服务器 先配置阿里云服务器 登录到阿里云，点击右上角的控制台，找到实例，点击更多， 找到网络和安全组，点击安全配置 找到安全组列表，点击配置规则 点击配置规则 点击添加安全组规则 配置...
- 回答 1 已采纳 最近在学hadoop，租了一台百度云服务器部署hadoop,启动了NameNode和DataNode还有ResourceManager，在配置完mapred-site.xml后打算启动JobHistoryServer进程看看工作记录，但是配置完ip地址后不是启动成功但打不开history，就是启动失败具体看一下截图: 这张图配置的是我的服务器的ip地址，目前只有一台：  配置完后启动日志里会报错，之后进程就退掉了： 报这个错：是端口号被占用： ： 但是我查看这个端口号没有被占用（其他进程已经启动）： ： 如果把mapred-site.xmlwe文件里的ip改成下图后就可以成功启动JobHistoryServe进程： ： 进程已经启动了，日志里没有报错： ： 但是点击history后查看不了工作记录：下图 ： 这是点击history后拒绝访问了： ： 我也想过是不是服务器hosts文件的问题，按照下面的配置还是不对（在mared-site.xml中把ip改为hadoop44启动不了）： ： 所以这是我遇到的问题，有没有大神解决一下，谢谢
- 回答 1 已采纳 ubuntu 安装hadoop 找不到文件"/usr/hadoop/ect/hadoop/yarn-site.xml".