本篇内容主要讲解“hadoop0.20.2集群搭建Ubuntu14.04环境的方法”,感兴趣的朋友不妨来看看。本文介绍的方法操作简单快捷,实用性强。下面就让小编来带大家学习“hadoop0.20.2集群搭建Ubuntu14.04环境的方法”吧!
<强>配前准备
一。,<>强安装环境:Ubuntu 14.04 - - - - - - - - - - - -一共三台机器
其中一台namenode + jobtracker(主),两台datanode + tasktracker (hadoop salve1)
下表为各个机器的具体内容
ip,,,,,,,,,,用户名/密码,主机名
10.60.38.165 ,,hadoop/123456,,,,,hadoop
10.60.38.166,,,hadoop/123456,,,,主
10.60.38.155 ,,,hadoop/123456,,,,salve1 (……居然拼错了,我靠)
在每台机器的/etc/主机下面添加
10.60.38.165,hadoop才能
10.60.38.166,大师才能
10.60.38.155,salve1才能
使得各台机器相互之间可以ping通(通过主机名可以平)
<>强(ps:/etc/hosts里面的数据全部清空,只留上面的三个以及第一项:127.0.0.1,localhost)
<强>二。,,SSH无密码验证配置
1。因为大部分Linux里面默认已经安装好了ssh,我在安装时已经默认安装好,但是ssh服务没有安装,使用sudo apt-get安装openssh服务器来安装ssh服务。(确保22端口号处于监听状态:netstat nat查看)
2。在每台机器上都执行下面命令:ssh-kengen rsa - p - t““
一路输入(将密钥的位置保存在默认的路径下)
在用户的当前目录下出现目录/sh(默认的权限为700)
里面生成两个文件id_rsa和id_rsa . pub
3。接着在主节点上做如下配置把id_rsa。酒吧追加到授权的关键里面
猫~/. ssh/id_rsa。酒吧在祝辞～/.ssh/authorized_keys,
4。下面在其他两台机器上依次执行命令将各自生成的id_rsa。酒吧添加到主下的authorized_keys里面
猫id_rsa。酒吧| ssh hadoop@master,“猫在祝辞～/.ssh/authorized_keys,(此时ssh到另外一台机器上需要另外一台机器的密码)
5。最后将主机器上得到的authorized_keys依次添加到各台机器的/home/hadoop/.ssh目录下
scp authorized_keys hadoop@hadoop: ~/sh
scp authorized_keys hadoop@salve1: ~/. ssh
6。配置完成后在每一台机器上都可以无密码验证登录另外一台机器了。于是这一步搞定。
在每台机器上安装jdk和Hadoop
<强>配置Hadoop(此处我的版本为hadoop0.20.2, jdk1.7)
- - - - -在配置文件中设值时,两边千万不能有空格,不然无效。
接下来配置配置文件:hadoop-env。sh,核心位点。xml, hdfs-site。xml, mapred-site.xml PS:
对于hadoop-env。上海各个节点的配置都是相同的。
对于主节点,需要额外配置奴隶文件,在里面添加各个datanode,的ip地址
下面附上主节点与Hadoop节点的配置(salve1与Hadoop类似,只需修改对于的ip,这里我已经大部分采用系统默认配置,所以无需更改)
<强> hadoop-env。承宪:
export JAVA_HOME=/opt/jdk1.7
(就在最后面加上即可)
<强> core-site.xml:
& lt; configuration>
,,,,& lt; property>
,,,,,,,,,,& lt; name> fs.default.name
,,,,,,,,,,& lt; value> hdfs://主:9000 & lt;/value>
,,,,& lt;/property>
& lt;/configuration>
ps:这里当我添加属性hadoop.tmp。dir改变其默认路径时,集群在启动时报错....未解,先暂时启用默认路径。还望大神指教。
<强> hdfs-site.xml:
& lt; configuration>
,,,,& lt; property>
,,,,,,,,,,& lt; name> dfs.webhdfs.enabled
,,,,,,,,,,& lt; value> true
,,,,& lt;/property>
& lt;/configuration>
& lt; configuration>
,,,,& lt; property>
,,,,,,,,,,& lt; name> dfs.replication
,,,,,,,,,,& lt; value> 2 & lt;/value>
,,,,& lt;/property>
& lt;/configuration>
<强> mapred-site.xml:
& lt; configuration>
,,,,& lt; property>
,,,,,,,,,,& lt; name> mapred.job.tracker
,,,,,,,,,,& lt; value> 10.60.38.166:9001
,,,,& lt;/property>
& lt;/configuration>
<强>奴隶:
10.60.38.165,,,hadoop
10.60.38.155,,,salve1
<强>大师:
大师在主节点配置好了然后复制到各个Datanode节点。
注意:这里的主人,奴隶文件在复制的时候可以不用变动,系统会自动忽略。而且配置都不需要改变,因为已经尽量采用了默认配置
- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
