2 yaoxiaochuang yaoxiaochuang 于 2016.04.15 03:41 提问

Hadoop 如何将结果分配到指定的机器上去?

如题,比如reduce结果有10个block,集群有3台slaves,我想把part-00000到part-00003放在一台机器上,把part-00004到part-00006放到一台机器上,剩下的放到另外一台机器上,求大神解决,多谢!!!!!!!!!

3个回答

devmiao
devmiao   Ds   Rxr 2016.04.15 04:22
devmiao
devmiao 回复SpatialBall: 姐姐回头就让管理员哥哥批评教育你一下 :)
2 年多之前 回复
devmiao
devmiao 回复SpatialBall: 姐姐好心回答你问题,你怎么好意思不采纳姐姐的回答呢?
2 年多之前 回复
yaoxiaochuang
yaoxiaochuang 回复苏小喵: 你这种灌水的,我等下就举报你
2 年多之前 回复
devmiao
devmiao 如果回答对你有启发,请给姐姐一个采纳吧~捂脸~~~
2 年多之前 回复
devmiao
devmiao 回复SpatialBall: 你可以参考下的。
2 年多之前 回复
yaoxiaochuang
yaoxiaochuang 你这也叫回答吗?
2 年多之前 回复
dada7767
dada7767   2016.04.15 07:05

Hadoop 是一个实现了 MapReduce 计算模型的开源分布式并行编程框架,借助于 Hadoop, 程序员可以轻松地编写
分布式并行程序,将其运行于计算机集群上,完成海量数据的计算。在本文中,详细介绍了如何部署 Hadoop 分布式
运行环境。

一、前言

前面己经详细介绍了如何安装 Hadoop,如何在单机及伪分布式环境 (在一台单机中用多进程模拟) 运行基于Hadoop 的并行程序。本文将介绍真实的 Hadoop 分布式运行环境, 如何在多台普通的计算机上部署分布式运行环境。

二、准备硬件设备、操作系统、网络环境

准备三台机器,机器名分别为 home0.hadoop、home1.hadoop、home2.hadoop,均安装 CentOS5 (其它 Linux 发行版亦可), 确保各台机器之间网络畅通,机器名与 IP 地址之间解析正确,从任一台机器都可以 ping 通其它机器的机器名。如有机器名的解析问题,可通过设置 /etc/hosts 文件解决,当然更好的解决方法是在你的网络中配置 DNS 服务器。此外,需要在三台机器上创建相同的用户帐号,如:yourusername。

我们将使用 home0.hadoop 作为分布式文件系统 HDFS 的 Name Node 及 MapReduce 运行过程中的 Job Tracker 结点,我们将 home0.hadoop 称之为主结点。其它两台机器 (home1.hadoop, home2.hadoop) 作为 HDFS 的 Data Node 以及 MapReduce 运行过程中的 Task Tracker 结点,这些结点可统称为从结点。如你需要部署更多的机器,也是很容易的,将新加入的机器作为 Data Node 以及 Task Tracker 结点即可,其配置过程在您看完本文后就会了。

三、SSH配置RSA认证

在 Hadoop 分布式环境中,Name Node (主节点) 需要通过 SSH 来启动和停止 Data Node (从结点)上的各类进程

。我们需要保证环境中的各台机器均可以通过 SSH 登录访问,并且 Name Node 用 SSH 登录 Data Node 时,不需要
输入密码,这样 Name Node 才能在后台自如地控制其它结点。可以将各台机器上的 SSH 配置为使用无密码公钥认证方式来实现,在此我就不再赘述了,上篇已经写过。

四、安装部署 Hadoop

1、我们首先在主控结点 home0.hadoop 上安装和配置好 Hadoop,安装过程上一篇已经说过,请查看。 

2、配置 conf/core-site.xml、conf/hdfs-site.xml、conf/mapred-site.xml 

2.1、conf/core-site.xml: 
<configuration>

    <property>
            <name>fs.default.name</name>
            <value>hdfs://home0.hadoop:9000</value>
    </property>

</configuration>

2.2、conf/hdfs-site.xml 

<configuration>

    <property>
            <name>dfs.name.dir</name>
            <value>/home/yourusername/hadoopfs/name_0,/home/yourusername/hadoopfs/name_1</value>
             <description>Determines where on the local filesystem the DFS name node
                    should store the name table. If this is a comma-delimited list of directories
                    then the name table is replicated in all of the directories,
                    for redundancy.
            </description>
    </property>

    <property>
            <name>dfs.data.dir</name>
            <value>/home/yourusername/hadoopfs/data_0,/home/yourusername/hadoopfs/data_1</value>
            <description>
                    Determines where on the local filesystem an DFS data node
                    should store its blocks. If this is a comma-delimited list of directories,
                    then data will be stored in all named directories, typically on different    

        devices. Directories that do not exist are ignored.
            </description>
    </property>

</configuration>

2.3、conf/mapred-site.xml 

 <configuration>
     <property>
            <name>mapred.job.tracker</name>
            <value>home0.hadoop:9001</value>
    </property>

</configuration>

3、解释:
参数 fs.default.name 指定 Name Node 的 IP 地址和端口号,此处我们将其设定为 home0.hadoop 及 9000 端口,参数 mapred.job.tracker 指定 JobTracker 的 IP 地址和端口号,此处我们将其设定为 home0.hadoop 及 9001

端口。 参数 dfs.name.dir 指定 Name Node 相关数据在本地文件系统上的存放位置, 此处我们将其设定为/home/yourusername/hadoopfs/name_0,/home/yourusername/hadoopfs/name_1 ,参数 dfs.data.dir 指定 Data Node 相关数据在本地文件系统上的存放位置,此处我们将其设定为 /home/yourusername/hadoopfs/data_0,/home/yourusername/hadoopfs/data_1 。注意, Hadoop 会自动创建这些目录,无需事先创建。如果你有多个磁盘设备,以逗号分开配置进去,会大大提高IO效率。

4、设定主从节点 

修改 conf/masters 文件,将其中的 localhost 改为 home0.hadoop ,修改 conf/slaves 文件。 删掉其中的localhost, 将我们的另两台机器 home1.hadoop、home2.hadoop 加入, 注意每个机器一行。masters里面的是主机节点,slaves里面是从机节点。

5、同样的配置拷贝到其他两台机器上去 

$ scp -r /home/yourusername/hadoop-0.20.2 home1.hadoop:/home/yourusername/hadoop-0.20.2
$ scp -r /home/yourusername/hadoop-0.20.2 home2.hadoop:/home/yourusername/hadoop-0.20.2

注意:可能您每台机器的JAVA安装位置不一样,记得修改conf/hadoop-env.sh,设置export JAVA_HOME=正确路径。

6、在 home0.hadoop 上格式化一个新的分布式文件系统 

$ cd hadoop-0.20.2
$ bin/hadoop namenode -format

7、启动hadoop进程 

$ bin/start-all.sh

$ bin/start-all.sh

starting namenode, logging to ...
home1.hadoop: starting datanode, logging to ...
home2.hadoop: starting datanode, logging to ...
home0.hadoop: starting secondarynamenode, logging to ...
starting jobtracker, logging to ...
home1.hadoop: starting tasktracker, logging to ...
home2.hadoop: starting tasktracker, logging to ...

启动完成之后,从日志中可以看到,也可以运行 ps -ef 命令可以看到 home0.hadoop 上启动了 3 个新的 java进程 (namenode, secondary namenode, jobtracker), 同时,我们可以到 home1.hadoop、home2.hadoop 两台机器上用 ps –ef 查看,这两台机器上应该已经自动启动了 2 个新的 java 进程 (datanode, tasktracker)

五、操作HDFS试试

$ bin/hadoop fs -lsr //查看分布式系统中是有哪些文件存在

$ bin/hadoop fs -put /home/yourusername/hadoop-0.20.2/hadoop-0.20.2-tools.jar a.jar //从本地拷贝文件

$ bin/hadoop fs -put /home/yourusername/hadoop-0.20.2/ . //从本地文件系统拷贝文件夹到分布式文件系统

$ bin/hadoop fs -rmr /home/yourusername/hadoop-0.20.2/ . //删除分布式文件系统的所有文件

六、可能你不会很顺利

我的问题呢,就是碰到 could only be replicated to 0 nodes, instead of 1,因为防火墙问题,在这里解决的:http://jiajun.iteye.com/blog/624449。

七、多熟悉熟悉

1、http://home0.hadoop:50070 看看分布式文件系统概况日志

Cluster Summary
15 files and directories, 3 blocks = 18 total. Heap Size is 10.73 MB / 966.69 MB (1%)
Configured Capacity : 56.26 GB
DFS Used : 524 KB
Non DFS Used : 10.86 GB
DFS Remaining : 45.4 GB
DFS Used% : 0 %
DFS Remaining% : 80.7 %
Live Nodes : 2
Dead Nodes : 0

2、http://192.168.0.129:50030 看看工作情况

Cluster Summary (Heap Size is 7.5 MB/966.69 MB)
Maps Reduces Total Submissions Nodes Map Task Capacity Reduce Task Capacity Avg.

Tasks/Node Blacklisted Nodes
0 0 0 2 4 4 4.00 0

3、熟悉hadoop的命令 

八、环境搭建完成,到这里你可以玩玩分布式文件系统,下一步我会介绍如何分布式编程

一、准备工作:
Hadoop分布式文件系统,架构和设计 :http://hadoop.apache.org/common/docs/r0.20.2/cn/hdfs_design.html
Hadoop快速入门:http://hadoop.apache.org/common/docs/r0.20.2/cn/quickstart.html
SSH认证登录(可后看):http://www.ibm.com/developerworks/cn/linux/security/openssh/part1/index.html

二、下面实际操作,初步感受分布式文件系统:

1、ssh安装(linux:openssh,windwos:要先安装Cygwin),略过

2、下载Hadoop的发行版,从Apache的某个镜像服务器上下载最近的 稳定发行版:

http://hadoop.apache.org/core/releases.html,解压所下载的Hadoop发行版。

$ wget http://labs.renren.com/apache-mirror/hadoop/core/hadoop-0.20.2/hadoop-0.20.2.tar.gz
$ tar -zxvf hadoop-0.20.2.tar.gz
$ cd hadoop-0.20.2

3、编辑 conf/hadoop-env.sh文件,至少需要将JAVA_HOME设置为Java安装根路径

4、稍微熟悉下使用文档

$ bin/hadoop //将会显示hadoop 脚本的使用文档。

现在你可以用以下三种支持的模式中的一种启动Hadoop集群:

* 单机模式
* 伪分布式模式
* 完全分布式模式

5、单机模式的操作方法

默认情况下,Hadoop被配置成以非分布式模式运行的一个独立Java进程。这对调试非常有帮助。

下面的实例将已解压的 conf 目录拷贝作为输入,查找并显示匹配给定正则表达式的条目。输出写入到指定的output

目录。

$ mkdir input
$ cp conf/*.xml input

我们看看下面的查找:

$ egrep dfs[a-z.]+ input/*

输出:
input/hadoop-policy.xml: dfsadmin and mradmin commands to refresh the security policy in-effect.

运行hadoop命令:

$ bin/hadoop jar hadoop-0.20.2-examples.jar grep input output 'dfs[a-z.]+'

执行上面的命令,会有一些输出日志,随便看看,了解了解。

$ cat output/*

结果:
1 dfsadmin

6、伪分布式模式的操作方法

Hadoop可以在单节点上以所谓的伪分布式模式运行,此时每一个Hadoop守护进程都作为一个独立的Java进程运行。

6.1、配置 (中文官方文档落后了,我上面的链接是中文文档,请自己转到英文文档看):

conf/core-site.xml


fs.default.name
hdfs://localhost:9000


conf/hdfs-site.xml


dfs.name.dir
/home/lighttpd/hadoopfs/name


dfs.data.dir
/home/lighttpd/hadoopfs/data


dfs.replication
1


conf/mapred-site.xml


mapred.job.tracker
localhost:9001


6.2、免密码ssh设置(参考我的另外一篇文章:http://jiajun.iteye.com/blog/621309)

现在确认能否不输入口令就用ssh登录localhost:

$ ssh localhost

如果不输入口令就无法用ssh登陆localhost,执行下面的命令:

$ ssh-keygen -t dsa
$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

6.3、格式化一个新的分布式文件系统

$ bin/hadoop namenode -format

注意看看输出日志哦,有助于理解。

6.4、启动Hadoop守护进程:

$ bin/start-all.sh

如果你设置了ssh的RSA认证,就不用输入密码,不然就要输入三次密码登录

6.5、日志

Hadoop守护进程的日志写入到 ${HADOOP_LOG_DIR} 目录 (默认是 ${HADOOP_HOME}/logs).

6.6、浏览NameNode和JobTracker的网络接口,它们的地址默认为:

* NameNode - http://localhost:50070/
* JobTracker - http://localhost:50030/

浏览观察一下,会看懂甚至更好的理解一些东西。

6.7、将输入文件拷贝到分布式文件系统:

$ bin/hadoop fs -put conf input //把本地的文件夹conf拷贝到分布式文件系统input文件夹

$ bin/hadoop fs -ls input //浏览分布式文件系统中的input文件

上面的命令是hadoop的,你可以输入下面命令,获取帮助

$ bin/hadoop fs

6.8、运行发行版提供的示例程序:

$ bin/hadoop jar hadoop-*-examples.jar grep input output 'dfs[a-z.]+'

查看输出文件:

$ bin/hadoop fs -get output output // 将输出文件从分布式文件系统拷贝到本地文件系统
$ cat output/*

或者,在分布式文件系统中查看:
$ bin/hadoop fs -cat output/*

6.9、你可以多试试bin/hadoop fs 下的java FsShell,和操作本地文件差不多,很快能熟悉。

6.10、最后,完成全部操作后,可以停止守护进程:

$ bin/stop-all.sh

bin下面有很多shell脚本这时可以适当看看名称,猜个大概意思。

dada7767
dada7767   2016.04.15 07:05

Hadoop 是一个实现了 MapReduce 计算模型的开源分布式并行编程框架,借助于 Hadoop, 程序员可以轻松地编写
分布式并行程序,将其运行于计算机集群上,完成海量数据的计算。在本文中,详细介绍了如何部署 Hadoop 分布式
运行环境。

一、前言

前面己经详细介绍了如何安装 Hadoop,如何在单机及伪分布式环境 (在一台单机中用多进程模拟) 运行基于Hadoop 的并行程序。本文将介绍真实的 Hadoop 分布式运行环境, 如何在多台普通的计算机上部署分布式运行环境。

二、准备硬件设备、操作系统、网络环境

准备三台机器,机器名分别为 home0.hadoop、home1.hadoop、home2.hadoop,均安装 CentOS5 (其它 Linux 发行版亦可), 确保各台机器之间网络畅通,机器名与 IP 地址之间解析正确,从任一台机器都可以 ping 通其它机器的机器名。如有机器名的解析问题,可通过设置 /etc/hosts 文件解决,当然更好的解决方法是在你的网络中配置 DNS 服务器。此外,需要在三台机器上创建相同的用户帐号,如:yourusername。

我们将使用 home0.hadoop 作为分布式文件系统 HDFS 的 Name Node 及 MapReduce 运行过程中的 Job Tracker 结点,我们将 home0.hadoop 称之为主结点。其它两台机器 (home1.hadoop, home2.hadoop) 作为 HDFS 的 Data Node 以及 MapReduce 运行过程中的 Task Tracker 结点,这些结点可统称为从结点。如你需要部署更多的机器,也是很容易的,将新加入的机器作为 Data Node 以及 Task Tracker 结点即可,其配置过程在您看完本文后就会了。

三、SSH配置RSA认证

在 Hadoop 分布式环境中,Name Node (主节点) 需要通过 SSH 来启动和停止 Data Node (从结点)上的各类进程

。我们需要保证环境中的各台机器均可以通过 SSH 登录访问,并且 Name Node 用 SSH 登录 Data Node 时,不需要
输入密码,这样 Name Node 才能在后台自如地控制其它结点。可以将各台机器上的 SSH 配置为使用无密码公钥认证方式来实现,在此我就不再赘述了,上篇已经写过。

四、安装部署 Hadoop

1、我们首先在主控结点 home0.hadoop 上安装和配置好 Hadoop,安装过程上一篇已经说过,请查看。 

2、配置 conf/core-site.xml、conf/hdfs-site.xml、conf/mapred-site.xml 

2.1、conf/core-site.xml: 
<configuration>

    <property>
            <name>fs.default.name</name>
            <value>hdfs://home0.hadoop:9000</value>
    </property>

</configuration>

2.2、conf/hdfs-site.xml 

<configuration>

    <property>
            <name>dfs.name.dir</name>
            <value>/home/yourusername/hadoopfs/name_0,/home/yourusername/hadoopfs/name_1</value>
             <description>Determines where on the local filesystem the DFS name node
                    should store the name table. If this is a comma-delimited list of directories
                    then the name table is replicated in all of the directories,
                    for redundancy.
            </description>
    </property>

    <property>
            <name>dfs.data.dir</name>
            <value>/home/yourusername/hadoopfs/data_0,/home/yourusername/hadoopfs/data_1</value>
            <description>
                    Determines where on the local filesystem an DFS data node
                    should store its blocks. If this is a comma-delimited list of directories,
                    then data will be stored in all named directories, typically on different    

        devices. Directories that do not exist are ignored.
            </description>
    </property>

</configuration>

2.3、conf/mapred-site.xml 

 <configuration>
     <property>
            <name>mapred.job.tracker</name>
            <value>home0.hadoop:9001</value>
    </property>

</configuration>

3、解释:
参数 fs.default.name 指定 Name Node 的 IP 地址和端口号,此处我们将其设定为 home0.hadoop 及 9000 端口,参数 mapred.job.tracker 指定 JobTracker 的 IP 地址和端口号,此处我们将其设定为 home0.hadoop 及 9001

端口。 参数 dfs.name.dir 指定 Name Node 相关数据在本地文件系统上的存放位置, 此处我们将其设定为/home/yourusername/hadoopfs/name_0,/home/yourusername/hadoopfs/name_1 ,参数 dfs.data.dir 指定 Data Node 相关数据在本地文件系统上的存放位置,此处我们将其设定为 /home/yourusername/hadoopfs/data_0,/home/yourusername/hadoopfs/data_1 。注意, Hadoop 会自动创建这些目录,无需事先创建。如果你有多个磁盘设备,以逗号分开配置进去,会大大提高IO效率。

4、设定主从节点 

修改 conf/masters 文件,将其中的 localhost 改为 home0.hadoop ,修改 conf/slaves 文件。 删掉其中的localhost, 将我们的另两台机器 home1.hadoop、home2.hadoop 加入, 注意每个机器一行。masters里面的是主机节点,slaves里面是从机节点。

5、同样的配置拷贝到其他两台机器上去 

$ scp -r /home/yourusername/hadoop-0.20.2 home1.hadoop:/home/yourusername/hadoop-0.20.2
$ scp -r /home/yourusername/hadoop-0.20.2 home2.hadoop:/home/yourusername/hadoop-0.20.2

注意:可能您每台机器的JAVA安装位置不一样,记得修改conf/hadoop-env.sh,设置export JAVA_HOME=正确路径。

6、在 home0.hadoop 上格式化一个新的分布式文件系统 

$ cd hadoop-0.20.2
$ bin/hadoop namenode -format

7、启动hadoop进程 

$ bin/start-all.sh

$ bin/start-all.sh

starting namenode, logging to ...
home1.hadoop: starting datanode, logging to ...
home2.hadoop: starting datanode, logging to ...
home0.hadoop: starting secondarynamenode, logging to ...
starting jobtracker, logging to ...
home1.hadoop: starting tasktracker, logging to ...
home2.hadoop: starting tasktracker, logging to ...

启动完成之后,从日志中可以看到,也可以运行 ps -ef 命令可以看到 home0.hadoop 上启动了 3 个新的 java进程 (namenode, secondary namenode, jobtracker), 同时,我们可以到 home1.hadoop、home2.hadoop 两台机器上用 ps –ef 查看,这两台机器上应该已经自动启动了 2 个新的 java 进程 (datanode, tasktracker)

五、操作HDFS试试

$ bin/hadoop fs -lsr //查看分布式系统中是有哪些文件存在

$ bin/hadoop fs -put /home/yourusername/hadoop-0.20.2/hadoop-0.20.2-tools.jar a.jar //从本地拷贝文件

$ bin/hadoop fs -put /home/yourusername/hadoop-0.20.2/ . //从本地文件系统拷贝文件夹到分布式文件系统

$ bin/hadoop fs -rmr /home/yourusername/hadoop-0.20.2/ . //删除分布式文件系统的所有文件

六、可能你不会很顺利

我的问题呢,就是碰到 could only be replicated to 0 nodes, instead of 1,因为防火墙问题,在这里解决的:http://jiajun.iteye.com/blog/624449。

七、多熟悉熟悉

1、http://home0.hadoop:50070 看看分布式文件系统概况日志

Cluster Summary
15 files and directories, 3 blocks = 18 total. Heap Size is 10.73 MB / 966.69 MB (1%)
Configured Capacity : 56.26 GB
DFS Used : 524 KB
Non DFS Used : 10.86 GB
DFS Remaining : 45.4 GB
DFS Used% : 0 %
DFS Remaining% : 80.7 %
Live Nodes : 2
Dead Nodes : 0

2、http://192.168.0.129:50030 看看工作情况

Cluster Summary (Heap Size is 7.5 MB/966.69 MB)
Maps Reduces Total Submissions Nodes Map Task Capacity Reduce Task Capacity Avg.

Tasks/Node Blacklisted Nodes
0 0 0 2 4 4 4.00 0

3、熟悉hadoop的命令 

八、环境搭建完成,到这里你可以玩玩分布式文件系统,下一步我会介绍如何分布式编程

一、准备工作:
Hadoop分布式文件系统,架构和设计 :http://hadoop.apache.org/common/docs/r0.20.2/cn/hdfs_design.html
Hadoop快速入门:http://hadoop.apache.org/common/docs/r0.20.2/cn/quickstart.html
SSH认证登录(可后看):http://www.ibm.com/developerworks/cn/linux/security/openssh/part1/index.html

二、下面实际操作,初步感受分布式文件系统:

1、ssh安装(linux:openssh,windwos:要先安装Cygwin),略过

2、下载Hadoop的发行版,从Apache的某个镜像服务器上下载最近的 稳定发行版:

http://hadoop.apache.org/core/releases.html,解压所下载的Hadoop发行版。

$ wget http://labs.renren.com/apache-mirror/hadoop/core/hadoop-0.20.2/hadoop-0.20.2.tar.gz
$ tar -zxvf hadoop-0.20.2.tar.gz
$ cd hadoop-0.20.2

3、编辑 conf/hadoop-env.sh文件,至少需要将JAVA_HOME设置为Java安装根路径

4、稍微熟悉下使用文档

$ bin/hadoop //将会显示hadoop 脚本的使用文档。

现在你可以用以下三种支持的模式中的一种启动Hadoop集群:

* 单机模式
* 伪分布式模式
* 完全分布式模式

5、单机模式的操作方法

默认情况下,Hadoop被配置成以非分布式模式运行的一个独立Java进程。这对调试非常有帮助。

下面的实例将已解压的 conf 目录拷贝作为输入,查找并显示匹配给定正则表达式的条目。输出写入到指定的output

目录。

$ mkdir input
$ cp conf/*.xml input

我们看看下面的查找:

$ egrep dfs[a-z.]+ input/*

输出:
input/hadoop-policy.xml: dfsadmin and mradmin commands to refresh the security policy in-effect.

运行hadoop命令:

$ bin/hadoop jar hadoop-0.20.2-examples.jar grep input output 'dfs[a-z.]+'

执行上面的命令,会有一些输出日志,随便看看,了解了解。

$ cat output/*

结果:
1 dfsadmin

6、伪分布式模式的操作方法

Hadoop可以在单节点上以所谓的伪分布式模式运行,此时每一个Hadoop守护进程都作为一个独立的Java进程运行。

6.1、配置 (中文官方文档落后了,我上面的链接是中文文档,请自己转到英文文档看):

conf/core-site.xml


fs.default.name
hdfs://localhost:9000


conf/hdfs-site.xml


dfs.name.dir
/home/lighttpd/hadoopfs/name


dfs.data.dir
/home/lighttpd/hadoopfs/data


dfs.replication
1


conf/mapred-site.xml


mapred.job.tracker
localhost:9001


6.2、免密码ssh设置(参考我的另外一篇文章:http://jiajun.iteye.com/blog/621309)

现在确认能否不输入口令就用ssh登录localhost:

$ ssh localhost

如果不输入口令就无法用ssh登陆localhost,执行下面的命令:

$ ssh-keygen -t dsa
$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

6.3、格式化一个新的分布式文件系统

$ bin/hadoop namenode -format

注意看看输出日志哦,有助于理解。

6.4、启动Hadoop守护进程:

$ bin/start-all.sh

如果你设置了ssh的RSA认证,就不用输入密码,不然就要输入三次密码登录

6.5、日志

Hadoop守护进程的日志写入到 ${HADOOP_LOG_DIR} 目录 (默认是 ${HADOOP_HOME}/logs).

6.6、浏览NameNode和JobTracker的网络接口,它们的地址默认为:

* NameNode - http://localhost:50070/
* JobTracker - http://localhost:50030/

浏览观察一下,会看懂甚至更好的理解一些东西。

6.7、将输入文件拷贝到分布式文件系统:

$ bin/hadoop fs -put conf input //把本地的文件夹conf拷贝到分布式文件系统input文件夹

$ bin/hadoop fs -ls input //浏览分布式文件系统中的input文件

上面的命令是hadoop的,你可以输入下面命令,获取帮助

$ bin/hadoop fs

6.8、运行发行版提供的示例程序:

$ bin/hadoop jar hadoop-*-examples.jar grep input output 'dfs[a-z.]+'

查看输出文件:

$ bin/hadoop fs -get output output // 将输出文件从分布式文件系统拷贝到本地文件系统
$ cat output/*

或者,在分布式文件系统中查看:
$ bin/hadoop fs -cat output/*

6.9、你可以多试试bin/hadoop fs 下的java FsShell,和操作本地文件差不多,很快能熟悉。

6.10、最后,完成全部操作后,可以停止守护进程:

$ bin/stop-all.sh

bin下面有很多shell脚本这时可以适当看看名称,猜个大概意思。

Csdn user default icon
上传中...
上传图片
插入图片
准确详细的回答,更有利于被提问者采纳,从而获得C币。复制、灌水、广告等回答会被删除,是时候展现真正的技术了!
其他相关推荐
让elasticsearch(es)分片分布在不同的机器上
有两种方法,都是修改es的配置文件(%ES_HOME%/config/elasticsearch.yml): 方法一、设置cluster.routing.allocation.same_shard.host: true。 这个设置是告诉es,将同一shard的primary shard和replica shard分步在不同的主机上(官方文档说按照不同的IP或主机名称来判断是否是同一
Nginx根据IP将请求分配到不同的后端服务器
server { listen 3333; server_name localhost; large_client_header_buffers 4 16k; client_max_body_size 300m; client_body_buffer_size 128k; proxy_connect_timeout 600; proxy_read_timeout 6
如何确定nginx访问的哪台服务器
如何确定nginx访问的哪台服务器添加如下代码add_header backendIP $upstream_addr;在访问服务器的时候,就可以在这里查看希望能帮到大家。大家如果有兴趣可以来我的网站看看:http://www.jiegelo.com...
Hadoop 查看某个文件分成几个块,分别在那台机架的哪个机器上
Hadoop 文件分为哪些块,位于那台机架的哪个机器上
滨江学院 刘生 计算机网络考点知识点整理
第一章 计算机网络的常用数据交换技术。 1. 电路交换——必须经过“建立连接、通信、释放连接”三个步骤,联网方式为面向连接的。整个报文的比特流连续从源点传送到终点,整个通信线路物理占用。 2. 报文交换——基于存储转发原理,在报文交换中心,以每份报文为单位,根据报文的目的站地址,进行相应的转发。整个报文先传送到相邻结点,全部存储下来后查找转发表,转发到下一个结点。 3. 分组交换——分组或
Hadoop学习笔记———《MultipleOutputs———将结果输出到指定的多个文件或文件夹》
在MapReduce中使用MultipleOutputs将结果输出到多个文件或文件夹 使用步骤主要有三步: 1、在reduce或map类中创建MultipleOutputs对象,将结果输出; class TestReducer extends Reducer{ //将结果输出到多个文件或多个文件夹 private MultipleOutputs mo
VS2012Error:不能将“bool”类型的值分配到“FILE*”类型的实体—已解决
代码功能:将一个磁盘文件中的信息复制到另一个磁盘文件中。(file1.dat复制到file2.dat) 源代码如下: #include #include int main() { FILE* in,* out; char ch,infile[10],outfile[10]; printf("输入读入文件的名字:"); scanf_s("%s",infile); printf("
hadoop streaming 输出数据分割与二次排序
输出数据分割 默认情况下Streaming框架将map输出的每一行第一个”\t”之前的部分作为key,之后的部分作为value,key\tvalue又作为reduce的输入。可以用-D stream.map.output.field.separator改变map输出中key和value的分隔符,用-D stream.num.map.output.key.fields设置分隔符的位置,该位置之
shuffle之个人理解
按照我的理解,整个MR任务可以拆解为Map、Shuffle、Reduce三步来执行,当然,Shuffle贯穿于Map与Reduce之间,包括map阶段的shuffle(spill,sort,merge)和reduce阶段的shuffle(copy,sort,merge) 注:现理解为shuffle过程就是map的中间结果如何传递给reduce的过程,一般指reduce阶段的为copy->sort
在Windows/Linux下程序指定IP地址
Windows/UIP Windows linux C++ Server Linuxnix* 系统都支持为一个网卡绑定多个IP地址,但是通常操作系统会根据路由表自动选择IP地址,应用程序使用哪个IP地址用户无法主动控制。本文分别讲解在Linux和Windows下为应用程序绑定指定IP地址的方法。 关于Windows如何选择IP地址可以参考这篇文章:《Source IP address