用Shell脚本过滤Hadoop中不能访问的节点
最近使用的一个集群hp1,因为维护集群的人不给力,节点总是过一段时间就掉一两个。今天发现重启hadoop时,HDFS已经进入保护模式了。
决定把slaves节点中的无法访问的节点全部过滤掉,所以写了一个小脚本,在这里记录一下,以后方便直接拿来使用。
PS:用C Shell编写的
代码如下:
#!/bin/csh if ( $#argv < 1 ) then echo "Usage: $0 host_file" exit 1 endif set NODES = `cat $1` foreach NODE ( $NODES ) ping -q -c 1 $NODE > /dev/null if ( $? == 0 ) then echo $NODE endif end
顺便附带一个ssh检查的脚本:
#!/bin/csh set nodes = `cat slaves` foreach i ( $nodes ) echo $i ssh $i exit end
郑重声明:本站内容如果来自互联网及其他传播媒体,其版权均属原媒体及文章作者所有。转载目的在于传递更多信息及用于网络分享,并不代表本站赞同其观点和对其真实性负责,也不构成任何其他建议。