ecjtusbs 2017-12-04 11:48 采纳率: 0%
浏览 975
已结题

诡异的Hadoop启动脚本

跟踪start-dfs.sh脚本启动时,发现极其诡异的一点,如下:


Hadoop版本: Apache Hadoop2.6.5


1、start-dfs.sh

start-dfs.sh中有这样语句:

 "$HADOOP_PREFIX/sbin/hadoop-daemons.sh" \
  --config "$HADOOP_CONF_DIR" \
  --hostnames "$NAMENODES" \
  --script "$bin/hdfs" start namenode $nameStartOpt

对应执行命令为

 hadoop-daemons.sh --config "$HADOOP_CONF_DIR" --hostnames "$NAMENODES" --script "$bin/hdfs" start namenode $nameStartOpt

跟踪到hadoop-daemons.sh


2、hadoop-daemons.sh

exec "$bin/slaves.sh" --config $HADOOP_CONF_DIR cd "$HADOOP_PREFIX" \;
"$bin/hadoop-daemon.sh" --config $HADOOP_CONF_DIR "$@"

接着执行到这里,最后执行

  "$bin/hadoop-daemon.sh" --config $HADOOP_CONF_DIR "$@"

这里的"$@" 为我理解为从[start-dfs.sh]中传过来的

 --config "$HADOOP_CONF_DIR" 
--hostnames "$NAMENODES" 
--script "$bin/hdfs" start namenode $nameStartOpt  

这么一大串参数。
接着跟踪,执行到hadoop-daemon.sh脚本


3、hadoop-daemon.sh

 hadoopScript="$HADOOP_PREFIX"/bin/hadoop
if [ "--script" = "$1" ]
  then
    shift
    hadoopScript=$1
    shift
fi
startStop=$1
shift
command=$1
shift

前后都没有进行过 shift 操作。

这里比较

 $1="--script"

是啥意思?
从hadoop-daemons.sh传入到此脚本的参数难道不是应该为

 --config "$HADOOP_CONF_DIR"  
--config "$HADOOP_CONF_DIR"  
--hostnames "$NAMENODES" 
--script "$bin/hdfs" start namenode $nameStartOpt

这几个参数吗?
为什么上面的处理过程好像传入的只有

 --script "$bin/hdfs" start namenode $nameStartOpt 

这个参数?
实在是搞不懂。

  • 写回答

2条回答

  • damin22 2017-12-04 11:51
    关注

    我当时配置的时候是在bin下面建了一个masters文件(vim可以建立)然后把master写进去,然后修改slaves文件,把slave1,slave2等写进去然后把mapred-site.xml.template啥的改成mapred-site.xml 你试试看可不可以

    评论

报告相同问题?

悬赏问题

  • ¥15 matlab数字图像处理频率域滤波
  • ¥15 ELGamal和paillier计算效率谁快?
  • ¥15 file converter 转换格式失败 报错 Error marking filters as finished,如何解决?
  • ¥15 ubuntu系统下挂载磁盘上执行./提示权限不够
  • ¥15 Arcgis相交分析无法绘制一个或多个图形
  • ¥15 关于#r语言#的问题:差异分析前数据准备,报错Error in data[, sampleName1] : subscript out of bounds请问怎么解决呀以下是全部代码:
  • ¥15 seatunnel-web使用SQL组件时候后台报错,无法找到表格
  • ¥15 fpga自动售货机数码管(相关搜索:数字时钟)
  • ¥15 用前端向数据库插入数据,通过debug发现数据能走到后端,但是放行之后就会提示错误
  • ¥30 3天&7天&&15天&销量如何统计同一行