hadoop2.4.1伪分布模式部署- wrencai
时间2014-08-08 14:54:33,博客园——所有随笔区
原文,http://www.cnblogs.com/wrencai/p/3899375.html
hadoop2.4.1伪分布模式部署
(承接上一篇hadoop2.4.1-src的编译安装继续配置:http://www.cnblogs.com/wrencai/p/3897438.html)
感谢:http://blog.sina.com.cn/s/blog_5252f6ca0101kb3s.html
感谢:http://blog.csdn.net/coolwzjcool/article/details/32072157
1。配置hadoop环境变量
在/etc/profile文件结尾增加hadoop安装目录的路径路径
export HADOOP_PREFIX=/opt/hadoop-2.4.1-src/hadoop-dist/目标/hadoop-2.4.1
出口路径=$路径:HADOOP_PREFIX美元/bin
2。配置hadoop相关配置文件
进入到hadoop安装目录此处为:/opt/hadoop-2.4.1-src/hadoop-dist/目标/hadoop-2.4.1
对等/hadoop中的文件进行配置(相关文件hadoop-env。sh、core-site.xml hdfs-site.xml、mapred-site.xml yarn-site。xml)
。配制核心位点。xml
& lt; configuration>
,,& lt; property>
,,& lt; name> fs.default.name
,,& lt; value> hdfs://localhost: 9000 & lt;/value>
,,& lt;/property>
,,& lt; property>
,,& lt; name> dfs.namenode.name.dir
,,& lt; value>文件:/home/hadoop/hadoop-2.4.1/dfs/name
,,& lt;/property>
,,& lt; property>
,,& lt; name> dfs.datanode.data.dir
,,& lt; value>文件:/home/hadoop/hadoop-2.4.1/dfs/data
,,& lt;/property>
& lt;/configuration>
注意红色字体hadoop是我为配置hadoop2.4.1设立的账户名称,是系统在家里目录下自动创建的,可以根据需要更改。
b。配制hdfs-site。xml
& lt; configuration>
,,& lt; property>
,,& lt; name> dfs.replication
,,& lt; !——系统默认文件保存3份,因伪分布模式,故改为1份,在
,,& lt; value> 1 & lt;/value>
,,& lt;/property>
,,& lt; property>
,,& lt; name> dfs.namenode.name.dir
,,& lt; value>/home/hadoop/hadoop-2.4.0/dfs/name
,,& lt;/property>
,,& lt; property>
,,& lt; name> dfs.datanode.data.dir
,,& lt; value>/home/hadoop/hadoop-2.4.0/dfs/data
,,& lt;/property>
,& lt;/configuration>
c。配制mapred-site。xml
& lt; configuration>
,,& lt; property>
,,& lt; name> mapreduce.jobtracker.address
,,& lt; value> localhost: 9001 & lt;/value>
,,& lt;/property>
,& lt;/configuration>
d。配置yarn-site。xml
& lt; configuration>
,& lt; !——网站具体的纱配置属性——在
,,& lt; property>
,,& lt; name> mapreduce.framework.name
,,& lt; value> yarn
,,& lt;/property>
,,& lt; property>
,,& lt; name> yarn.nodemanager.aux-services
,,& lt; value> mapreduce_shuffle
,,& lt;/property>
,& lt;/configuration>
3。ssh免密码登陆设置:参考http://lhflinux.blog.51cto.com/1961662/526122
ssh链接是需要密码认证的,可以通过添加系统认证(即公钥——私钥)的修改,修改后系统间切换可以避免密码输入和ssh认证。
。修改文件:vi/etc/ssh/sshd_config
RSAAuthentication是的,,,,开启RSA加密方式
,PubkeyAuthentication是的大敌;,,开启公钥认证
,AuthorizedKeysFile . ssh/authorized_keys大敌;,,公钥存放位置
PasswordAuthentication没有,,拒绝使用密码登录
GSSAPIAuthentication没有,,,防止登录慢,以及报错问题
ClientAliveInterval 300,,,,,,,,,,,300秒超时自动退出,ClientAliveCountMax 10大敌;,,,,,,,,允许SSH远程连接的最大数
,,b。在根根目录下执行:
ssh - keygen rsa - p - t”
,,,回车,然后输入密码,完成后再执行:(本机作为伪集群的一个节点,也需要将认证写入授权,不执行下一句可能会出现的经纪人承认失败标志使用,关键,,错误,参考http://blog.chinaunix.net/uid 3510267. - 28228356 - id - - html)
猫/root/.ssh/id_rsa.酒吧在祝辞authorized_keys
d。执行下面命令,能够直接进入则表示成功
[root@localhost] # ssh localhost
最后登录:2014年8月,星期五8日13:44:42从localhost
4。运行测试hadoop
。到hadoop2.4.0目录下执行下面命令、格式化结点信息,最后一句出现“关闭……”,中间没有警告或者致命错误应该就对了。此处可能会出现STARTUP_MSG:主机,=java.net。UnknownHostException: localhost。null
