# !/bin/bash
2 #
#安装Hadoop使用pdsh/pdcp尽可能。
#
#命令可以互动或文件。这个脚本设置
2 # Hadoop集群的基本配置。修改数据、日志和pid
#目录。进一步配置集群。/conf-hadoop2。sh
#
#
#基本环境变量。根据需要编辑
HADOOP_VERSION=2.0.5-alpha
HADOOP_HOME="/opt/hadoop - $ {HADOOP_VERSION} "
NN_DATA_DIR=/var/数据/hadoop/hdfs nn
SNN_DATA_DIR=/var/数据/hadoop/hdfs snn
DN_DATA_DIR=/var/数据/hadoop/hdfs dn
YARN_LOG_DIR=/var/log/hadoop/纱
HADOOP_LOG_DIR=/var/log/hadoop/hdfs
HADOOP_MAPRED_LOG_DIR=/var/log/hadoop/mapred
YARN_PID_DIR=/var/run/hadoop/纱
HADOOP_PID_DIR=/var/run/hadoop/hdfs
HADOOP_MAPRED_PID_DIR=/var/run/hadoop/mapred
HTTP_STATIC_USER=hdfs
YARN_PROXY_PORT=8081
hadoop-xml-conf来源。sh
CMD_OPTIONS=$ (getopt - n“0”- o hif -长“帮助、互动、文件”——“$ @”)
#照顾不好的选项在命令
如果[$ ?- ne 0],
退出1
fi
eval设置——“CMD_OPTIONS美元”
all_hosts=
nn_host“all_hosts”=皀n_host”
snn_host=
dn_hosts“snn_host”=癲n_hosts”
rm_host=
nm_hosts“rm_host”=皀m_hosts”
mr_history_host=
yarn_proxy_host“mr_history_host”=皔arn_proxy_host”
安装()
{
回声“Hadoop HADOOP_VERSION美元复制到所有主机……”
pdcp - w ^ all_hosts hadoop - " $ HADOOP_VERSION " . tar。广州/opt/
回声“JDK 1.6.0_31复制到所有主机……”
pdcp - w ^ all_hosts jdk-6u31-linux-x64-rpm。bin/选择
回声“在所有主机上安装JDK 1.6.0_31……”
pdsh - w ^ all_hosts chmod + x/opt/jdk-6u31-linux-x64-rpm。本
pdsh - w ^ all_hosts/opt/jdk-6u31-linux-x64-rpm。本-noregister 1> & - 2>和
回声”设置JAVA_HOME HADOOP_HOME环境变量在所有主机……”
pdsh - w ^ all_hosts的回声出口JAVA_HOME=/usr/java/jdk1.6.0_31>/etc/profile.d/java.sh '
pdsh - w ^ all_hosts/etc/profile.d/java.”来源sh”
pdsh - w ^ all_hosts”出口HADOOP_HOME=$ HADOOP_HOME>/etc/profile.d/hadoop.回响sh”
pdsh - w ^ all_hosts的回声出口HADOOP_PREFIX=$ HADOOP_HOME>/etc/profile.d/hadoop.sh '
pdsh - w ^ all_hosts/etc/profile.d/hadoop.”来源sh”
回声”提取Hadoop美元HADOOP_VERSION分布在所有主机…“
pdsh - w ^ all_hosts焦油-zxf/opt/hadoop——“美元”HADOOP_VERSION . tar。广州- c/opt/
回声”在所有主机上创建系统帐户和组……”
pdsh - w ^ all_hosts groupadd hadoop
pdsh - w ^ all_hosts useradd - g hadoop纱
pdsh - w ^ all_hosts useradd - g hadoop的hdfs
pdsh - w ^ all_hosts useradd - g hadoop mapred
回声”NameNode主机上创建hdfs数据目录,二级NameNode主机和DataNode主机……””
pdsh - w ^ nn_host mkdir - p $ NN_DATA_DIR & &乔恩hdfs: hadoop $ NN_DATA_DIR "
pdsh - w ^ snn_host”mkdir - p $ SNN_DATA_DIR & &乔恩hdfs: hadoop $ SNN_DATA_DIR "
pdsh - w ^ dn_hosts”mkdir - p $ DN_DATA_DIR & &乔恩hdfs: hadoop $ DN_DATA_DIR "
回声“所有主机上创建日志目录……””
pdsh - w ^ all_hosts mkdir - p $ YARN_LOG_DIR & &乔恩纱:hadoop $ YARN_LOG_DIR "
pdsh - w ^ all_hosts”mkdir - p $ HADOOP_LOG_DIR & &乔恩hdfs: hadoop $ HADOOP_LOG_DIR "
pdsh - w ^ all_hosts”mkdir - p $ HADOOP_MAPRED_LOG_DIR & &乔恩mapred: hadoop $ HADOOP_MAPRED_LOG_DIR "
回声“所有主机上创建pid目录……”
pdsh - w ^ all_hosts”mkdir - p $ YARN_PID_DIR & &乔恩纱:hadoop $ YARN_PID_DIR "
pdsh - w ^ all_hosts”mkdir - p $ HADOOP_PID_DIR & &乔恩hdfs: hadoop $ HADOOP_PID_DIR "
pdsh - w ^ all_hosts”mkdir - p $ HADOOP_MAPRED_PID_DIR & &乔恩mapred: hadoop $ HADOOP_MAPRED_PID_DIR "
回声“编辑hadoop环境脚本日志目录上所有主机……”
pdsh - w ^ all_hosts回声“出口HADOOP_LOG_DIR=$ HADOOP_LOG_DIR> $ HADOOP_HOME/etc/hadoop/hadoop-env。sh”
pdsh - w ^ all_hosts回声”出口YARN_LOG_DIR=$ YARN_LOG_DIR> $ HADOOP_HOME/etc/hadoop/yarn-env。sh”
pdsh - w ^ all_hosts回声”出口HADOOP_MAPRED_LOG_DIR=$ HADOOP_MAPRED_LOG_DIR> $ HADOOP_HOME/etc/hadoop/mapred-env。sh”
回声”编辑为pid Hadoop环境脚本目录上所有主机…“
pdsh - w ^ all_hosts回声”出口HADOOP_PID_DIR=$ HADOOP_PID_DIR> $ HADOOP_HOME/etc/hadoop/hadoop-env。sh”
pdsh - w ^ all_hosts回声”出口YARN_PID_DIR=$ YARN_PID_DIR> $ HADOOP_HOME/etc/hadoop/yarn-env。sh”
pdsh - w ^ all_hosts回声”出口HADOOP_MAPRED_PID_DIR=$ HADOOP_MAPRED_PID_DIR> $ HADOOP_HOME/etc/hadoop/mapred-env。sh”
回声“创建基本Hadoop XML配置文件…“
create_config——文件核心位点。xml文件
put_config——核心位点。null
