介绍
本篇内容主要讲解“Hadoop2 namenode联邦实验分析”,感兴趣的朋友不妨来看看。本文介绍的方法操作简单快捷,实用性强。下面就让小编来带大家学习“Hadoop2 namenode联邦实验分析”吧!
实验的Hadoop版本为2.5.2,硬件环境是5台虚拟机,使用的均是CentOS6.6操作系统,虚拟机IP和主机名分别为:,
192.168.63.171,,node1.zhch
192.168.63.172,,node2.zhch
192.168.63.173,,node3.zhch
192.168.63.174,,node4.zhch
192.168.63.175,,node5.zhch
ssh免密码,防火墙,JDK这里就不在赘述了。虚拟机的角色分配是node1, 2是namendoe节点,node3, 4、5为datanode节点只
步骤和
搭建普通hadoop集群
基本相同,主要的不同在于
<强> hdfs-site.xml 这个配置文件,其余配置和hadoop的安装配置基本一致。
一、配置Hadoop
以前
<> # #,解压
[yyl@node1 项目],美元tar -zxf hadoop-2.5.2.tar.gz
# #,创建文件夹
[yyl@node1 项目],美元mkdir hadoop-2.5.2/的名字
[yyl@node1 项目],美元mkdir hadoop-2.5.2/数据
[yyl@node1 项目],美元mkdir hadoop-2.5.2/tmp
# #,配置hadoop-env.sh
[yyl@node1 项目],美元cd hadoop-2.5.2/etc/hadoop/[yyl@node1 hadoop],美元vim hadoop-env.sh
export JAVA_HOME=/usr/lib/java/jdk1.7.0_80
# #,配置yarn-env.sh
[yyl@node1 hadoop],美元vim yarn-env.sh
export JAVA_HOME=/usr/lib/java/jdk1.7.0_80
# #,配置奴隶
[yyl@node1 hadoop],美元vim slaves
node3.zhch
node4.zhch
node5.zhch
# #,配置core-site.xml
[yyl@node1 项目],美元cd hadoop-2.5.2/etc/hadoop/[yyl@node1 hadoop],美元vim core-site.xml
& lt; configuration>
& lt; property>
& lt;才能name> fs.defaultFS</name>
& lt;才能value> hdfs://node1.zhch: 9000 & lt;/value>
& lt;/property>
& lt; property>
& lt;才能name> io.file.buffer.size</name>
& lt;才能value> 131072 & lt;/value>
& lt;/property>
& lt; property>
& lt;才能name> hadoop.tmp.dir</name>
& lt;才能value>文件:/home/yyl/程序/hadoop-2.5.2/tmp
& lt;/property>
& lt; property>
& lt;才能name> hadoop.proxyuser.hduser.hosts</name>
& lt;才能value> * & lt;/value>
& lt;/property>
& lt; property>
& lt;才能name> hadoop.proxyuser.hduser.groups</name>
& lt;才能value> * & lt;/value>
& lt;/property>
& lt;/configuration>
# #,配置hdfs-site.xml
[yyl@node1 hadoop],美元vim hdfs-site.xml
& lt; configuration>
& lt; property>
& lt;才能name> dfs.namenode.name.dir</name>
& lt;才能value>文件:/home/yyl/程序/hadoop-2.5.2/name
& lt;/property>
& lt; property>
& lt;才能name> dfs.datanode.data.dir</name>
& lt;才能value>文件:/home/yyl/程序/hadoop-2.5.2/data
& lt;/property>
& lt; property>
& lt;才能name> dfs.replication</name>
& lt;才能value> 1 & lt;/value>
& lt;/property>
& lt; property>
& lt;才能name> dfs.webhdfs.enabled</name>
& lt;才能value> true</value>
& lt;/property>
& lt; property>
& lt;才能name> dfs.permissions</name>
& lt;才能value> false</value>
& lt;/property>
& lt; property>
& lt;才能name> dfs.nameservices</name>
& lt;才能value> ns1, ns2
& lt;/property>
& lt; property>
& lt;才能name> dfs.namenode.rpc-address.ns1</name>
& lt;才能value> node1.zhch: 9000 & lt;/value>
& lt;/property>
& lt; property>
& lt;才能name> dfs.namenode.http-address.ns1</name>
& lt;才能value> node1.zhch: 50070 & lt;/value>
& lt;/property>
& lt; property>
& lt;才能name> dfs.namenode.rpc-address.ns2</name>
& lt;才能value> node2.zhch: 9000 & lt;/value>
& lt;/property>
& lt; property>
& lt;才能name> dfs.namenode.http-address.ns2</name>
& lt;才能value> node2.zhch: 50070 & lt;/value>
& lt;/property>
& lt;/configuration>
# #配置mapred-site.xml
[yyl@node1 hadoop],美元cp mapred-site.xml.template mapred-site.xml
[yyl@node1 hadoop],美元vim mapred-site.xml
& lt; configuration>
& lt; property>
& lt;才能name> mapreduce.framework.name</name>
& lt;才能value> yarn</value>
& lt;/property>
& lt; property>
& lt;才能name> mapreduce.jobhistory.address</name>
& lt;才能value> node1.zhch: 10020 & lt;/value>
& lt;/property>
& lt; property>
& lt;才能name> mapreduce.jobhistory.webapp.address</name>
& lt;才能value> node1.zhch: 19888 & lt;/value>
& lt;/property>
& lt;/configuration>
# #配置yarn-site.xml
[yyl@node1 hadoop],美元vim yarn-site.xml
& lt; configuration>
& lt; property>
& lt;才能name> yarn.nodemanager.aux-services</name>
& lt;才能value> mapreduce_shuffle</value>
& lt;/property>
& lt; property>
& lt;才能name> yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
& lt;才能value> org.apache.hadoop.mapred.ShuffleHandler</value>
& lt;/property>
& lt; property>
& lt;才能name> yarn.resourcemanager.address</name>
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
