诡异的Hadoop启动脚本 10C

跟踪start-dfs.sh脚本启动时,发现极其诡异的一点,如下:


Hadoop版本: Apache Hadoop2.6.5


1、start-dfs.sh

start-dfs.sh中有这样语句:

 "$HADOOP_PREFIX/sbin/hadoop-daemons.sh" \
  --config "$HADOOP_CONF_DIR" \
  --hostnames "$NAMENODES" \
  --script "$bin/hdfs" start namenode $nameStartOpt

对应执行命令为

 hadoop-daemons.sh --config "$HADOOP_CONF_DIR" --hostnames "$NAMENODES" --script "$bin/hdfs" start namenode $nameStartOpt

跟踪到hadoop-daemons.sh


2、hadoop-daemons.sh

exec "$bin/slaves.sh" --config $HADOOP_CONF_DIR cd "$HADOOP_PREFIX" \;
"$bin/hadoop-daemon.sh" --config $HADOOP_CONF_DIR "$@"

接着执行到这里,最后执行

  "$bin/hadoop-daemon.sh" --config $HADOOP_CONF_DIR "$@"

这里的"$@" 为我理解为从[start-dfs.sh]中传过来的

 --config "$HADOOP_CONF_DIR" 
--hostnames "$NAMENODES" 
--script "$bin/hdfs" start namenode $nameStartOpt  

这么一大串参数。
接着跟踪,执行到hadoop-daemon.sh脚本


3、hadoop-daemon.sh

 hadoopScript="$HADOOP_PREFIX"/bin/hadoop
if [ "--script" = "$1" ]
  then
    shift
    hadoopScript=$1
    shift
fi
startStop=$1
shift
command=$1
shift

前后都没有进行过 shift 操作。

这里比较

 $1="--script"

是啥意思?
从hadoop-daemons.sh传入到此脚本的参数难道不是应该为

 --config "$HADOOP_CONF_DIR"  
--config "$HADOOP_CONF_DIR"  
--hostnames "$NAMENODES" 
--script "$bin/hdfs" start namenode $nameStartOpt

这几个参数吗?
为什么上面的处理过程好像传入的只有

 --script "$bin/hdfs" start namenode $nameStartOpt 

这个参数?
实在是搞不懂。

2个回答

我当时配置的时候是在bin下面建了一个masters文件(vim可以建立)然后把master写进去,然后修改slaves文件,把slave1,slave2等写进去然后把mapred-site.xml.template啥的改成mapred-site.xml 你试试看可不可以

ecjtusbs
ecjtusbs 和我这个问题好像关系不大,哈哈
2 年多之前 回复

hadoop-daemon.sh命令是用来单独启动namenode和datanode的

gele1005
Little_Cigar 回复ecjtusbs:你研究的比较细致啦,哈哈
2 年多之前 回复
ecjtusbs
ecjtusbs 我比较好奇的是参数在脚本之间不断传递,是怎么变化的
2 年多之前 回复
Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!
立即提问