一、集群规划
这里搭建一个3节点的Hadoop集群,其中三台主机均部署<代码> DataNode 和<代码> NodeManager 服务,但只有hadoop001上部署然后<代码> 和<代码> ResourceManager 服务。
二,前置条件
Hadoop的运行依赖JDK,需要预先安装。其安装步骤单独整理至:
-
<李> Linux下JDK的安装李
三,配置免密登录
3.1生成密匙
在每台主机上使用ssh - keygen <代码> 命令生成公钥私钥对:
ssh - keygen <代码类=" language-shell ">
3.2免密登录
将<代码> hadoop001> ~/. ssh/authorized_key 文件中:
<代码类=" language-shell "> ssh-copy-id -我~/. ssh/id_rsa。酒吧hadoop001 ssh-copy-id -我~/. ssh/id_rsa。酒吧hadoop002 ssh-copy-id -我~/. ssh/id_rsa。酒吧hadoop003
3.3验证免密登录
<代码类="她们"> ssh hadoop002 ssh hadoop003
四,集群搭建
3.1下载并解压
下载Hadoop。这里我下载的是鼎晖版本Hadoop,下载地址为:http://archive.cloudera.com/cdh6/cdh/5/
<代码类=" language-shell "> #焦油-zvxf hadoop-2.6.0-cdh6.15.2.tar。广州
3.2配置环境变量
编辑<代码>概要文件文件:
<代码类=" language-shell "> # vim/etc/profile
增加如下配置:
<代码>出口HADOOP_HOME=/usr/app/hadoop-2.6.0-cdh6.15.2
导出路径=$ {HADOOP_HOME}/bin:美元路径
执行<代码> 来源命令,使得配置立即生效:
<代码类=" language-shell "> #源/etc/profile
3.3修改配置
进入<代码> $ {HADOOP_HOME}/etc/hadoop代码>
1。hadoop-env.sh h5> <代码类=" language-shell "> #指定JDK的安装位置
出口JAVA_HOME=/usr/java/jdk1.8.0_201/
2。core-site.xml h5> <代码类="语言xml "> & lt; configuration>
& lt; property>
& lt; !——指定namenode的hdfs协议文件系统的通信地址——比;
& lt; name> fs.defaultFS
& lt; value> hdfs://hadoop001:8020
& lt;/property>
& lt; property>
& lt; !——指定hadoop集群存储临时文件的目录——比;
& lt; name> hadoop.tmp.dir
& lt; value>/home/hadoop/tmp
& lt;/property>
& lt;/configuration>
3。hdfs-site.xml h5> <代码类="语言xml "> & lt; property>
& lt; !——namenode节点数据(即元数据)的存放位置,可以指定多个目录实现容错,多个目录用逗号分隔——比;
& lt; name> dfs.namenode.name.dir
& lt; value>/home/hadoop/namenode/data
& lt;/property>
& lt; property>
& lt; !——datanode节点数据(即数据块)的存放位置——比;
& lt; name> dfs.datanode.data.dir
& lt; value>/home/hadoop/datanode/data
& lt;/property>
4。yarn-site.xml h5> <代码类="语言xml "> & lt; configuration>
& lt; property>
& lt; !——配置NodeManager上运行的附属服务。需要配置成mapreduce_shuffle后才可以在纱线上运行MapReduce程序。——比;
& lt; name> yarn.nodemanager.aux-services
& lt; value> mapreduce_shuffle
& lt;/property>
& lt; property>
& lt; !——resourcemanager的主机名——比;
& lt; name> yarn.resourcemanager.hostname
& lt; value> hadoop001
& lt;/property>
& lt;/configuration>
5。mapred-site.xml h5> <代码类="语言xml "> & lt; configuration>
& lt; property>
& lt; !——指定mapreduce作业运行在纱线上——比;
& lt; name> mapreduce.framework.name
& lt; value> yarn
& lt;/property>
& lt;/configuration>
5。奴隶h5> 配置所有从属节点的主机名或IP地址,每行一个。所有从属节点上的<代码> DataNode 服务和<代码> NodeManager 服务都会被启动。
<代码类=" language-properties "> hadoop001
hadoop002
hadoop003 Hadoop系列(五)Hadoop集群环境搭建
3。hdfs-site.xml h5> <代码类="语言xml "> & lt; property>
& lt; !——namenode节点数据(即元数据)的存放位置,可以指定多个目录实现容错,多个目录用逗号分隔——比;
& lt; name> dfs.namenode.name.dir
& lt; value>/home/hadoop/namenode/data
& lt;/property>
& lt; property>
& lt; !——datanode节点数据(即数据块)的存放位置——比;
& lt; name> dfs.datanode.data.dir
& lt; value>/home/hadoop/datanode/data
& lt;/property>
4。yarn-site.xml h5> <代码类="语言xml "> & lt; configuration>
& lt; property>
& lt; !——配置NodeManager上运行的附属服务。需要配置成mapreduce_shuffle后才可以在纱线上运行MapReduce程序。——比;
& lt; name> yarn.nodemanager.aux-services
& lt; value> mapreduce_shuffle
& lt;/property>
& lt; property>
& lt; !——resourcemanager的主机名——比;
& lt; name> yarn.resourcemanager.hostname
& lt; value> hadoop001
& lt;/property>
& lt;/configuration>
5。mapred-site.xml h5> <代码类="语言xml "> & lt; configuration>
& lt; property>
& lt; !——指定mapreduce作业运行在纱线上——比;
& lt; name> mapreduce.framework.name
& lt; value> yarn
& lt;/property>
& lt;/configuration>
5。奴隶h5> 配置所有从属节点的主机名或IP地址,每行一个。所有从属节点上的<代码> DataNode 服务和<代码> NodeManager 服务都会被启动。
<代码类=" language-properties "> hadoop001
hadoop002
hadoop003 Hadoop系列(五)Hadoop集群环境搭建
5。mapred-site.xml h5> <代码类="语言xml "> & lt; configuration>
& lt; property>
& lt; !——指定mapreduce作业运行在纱线上——比;
& lt; name> mapreduce.framework.name
& lt; value> yarn
& lt;/property>
& lt;/configuration>
5。奴隶h5> 配置所有从属节点的主机名或IP地址,每行一个。所有从属节点上的<代码> DataNode 服务和<代码> NodeManager 服务都会被启动。
<代码类=" language-properties "> hadoop001
hadoop002
hadoop003 Hadoop系列(五)Hadoop集群环境搭建
<代码类=" language-properties "> hadoop001 hadoop002 hadoop003Hadoop系列(五)Hadoop集群环境搭建
