ecjtusbs
ecjtusbs
采纳率0%
2017-12-04 11:48 阅读 968

诡异的Hadoop启动脚本

10

跟踪start-dfs.sh脚本启动时,发现极其诡异的一点,如下:


Hadoop版本: Apache Hadoop2.6.5


1、start-dfs.sh

start-dfs.sh中有这样语句:

 "$HADOOP_PREFIX/sbin/hadoop-daemons.sh" \
  --config "$HADOOP_CONF_DIR" \
  --hostnames "$NAMENODES" \
  --script "$bin/hdfs" start namenode $nameStartOpt

对应执行命令为

 hadoop-daemons.sh --config "$HADOOP_CONF_DIR" --hostnames "$NAMENODES" --script "$bin/hdfs" start namenode $nameStartOpt

跟踪到hadoop-daemons.sh


2、hadoop-daemons.sh

exec "$bin/slaves.sh" --config $HADOOP_CONF_DIR cd "$HADOOP_PREFIX" \;
"$bin/hadoop-daemon.sh" --config $HADOOP_CONF_DIR "$@"

接着执行到这里,最后执行

  "$bin/hadoop-daemon.sh" --config $HADOOP_CONF_DIR "$@"

这里的"$@" 为我理解为从[start-dfs.sh]中传过来的

 --config "$HADOOP_CONF_DIR" 
--hostnames "$NAMENODES" 
--script "$bin/hdfs" start namenode $nameStartOpt  

这么一大串参数。
接着跟踪,执行到hadoop-daemon.sh脚本


3、hadoop-daemon.sh

 hadoopScript="$HADOOP_PREFIX"/bin/hadoop
if [ "--script" = "$1" ]
  then
    shift
    hadoopScript=$1
    shift
fi
startStop=$1
shift
command=$1
shift

前后都没有进行过 shift 操作。

这里比较

 $1="--script"

是啥意思?
从hadoop-daemons.sh传入到此脚本的参数难道不是应该为

 --config "$HADOOP_CONF_DIR"  
--config "$HADOOP_CONF_DIR"  
--hostnames "$NAMENODES" 
--script "$bin/hdfs" start namenode $nameStartOpt

这几个参数吗?
为什么上面的处理过程好像传入的只有

 --script "$bin/hdfs" start namenode $nameStartOpt 

这个参数?
实在是搞不懂。

  • 点赞
  • 写回答
  • 关注问题
  • 收藏
  • 复制链接分享

2条回答 默认 最新

  • damin22 damin22 2017-12-04 11:51

    我当时配置的时候是在bin下面建了一个masters文件(vim可以建立)然后把master写进去,然后修改slaves文件,把slave1,slave2等写进去然后把mapred-site.xml.template啥的改成mapred-site.xml 你试试看可不可以

    点赞 评论 复制链接分享
  • gele1005 Little_Cigar 2017-12-05 06:43

    hadoop-daemon.sh命令是用来单独启动namenode和datanode的

    点赞 评论 复制链接分享

相关推荐