ubantu Hadoop 16.4下完全分布式搭建实战教程

　　

　　

本文主要介绍了关于ubantu 16.4 Hadoop完全分布式搭建的相关内容,分享出来供大家参考学习、下面话不多说了,来一起看看详细的介绍吧

　　

　　

1。以,NAT网卡模式,,装载虚拟机
　　

　　

2。最好将几个用到的虚拟机修改主机名,静态IP ,,,/etc/network/interface,这里是s101 s102 算是三台主机ubantu,改/etc/主机名文件
　　

　　

3。安装ssh 
　　

　　

在第一台主机那里s101创建公私密匙,
　　

　　

,, <代码> ssh - keygen - t - f ~/rsa - p”。ssh/id_rsa
　　

　　

,, <代码>在cd . ssh
　　

　　

, <代码>在cp id_rsa。酒吧在authorized_keys 创建密匙库
　　

　　

,,将id_rsa . pub传到其他主机,上到。ssh目录下
　　

　　

,,,,,,,,通过,服务端,8888年<代码> nc - l在~/sh/authorized_keys
　　

　　

,,,,,,,客户端,<代码>数控世界时8888 & lt; id_rsa。酒吧
　　

　　

　　

1,安装VM-tools 方便从赢得10拖拉文件到ubantu
　　

　　

2,创建目录,,/软
　　

　　

3,改变组,乔恩ubantu: ubantu/soft 方便传输文件有权限
　　

　　

4,将文件放入到/soft ,(可以从桌面cp/mv src dst)
　　

　　

,,,,,焦油-zxvf jdk或hadoop自动创建解压目录
　　

　　

,,,,,配置安装环境(/etc/环境)
　　

　　

,,,,,,,,,,,1.添加JAVA_HOME=/软/jdk -…jdk目录
　　

　　

,,,,,,,,,,,2.添加HADOOP_HOME=/软/hadoop (hadoop目录)
　　

　　

,,,,,,,,,,,, 3。在路径里面加/软/jdk -…jdk/bin:/软/hadoop/bin/:/软/hadoop/sbin
　　

　　

,,,,,,,,,,,4 .通过,java -version ,查看有版本号,成功
　　

　　

,,,,,,,,,,,5.hadoop version 有版本号,成功
　　

　　

开始配置HDFS四大文件,,core-site.xml ,,,hdfs-site.xml ,,mapred-site.xml ,yarn-site.xml

　　

核心位点。xml
　　

　　 　　 　　& lt; configuration> 　　& lt; property> 　　& lt; name> fs.defaultFS 　　& lt; value> hdfs://s101:9000 　　& lt;/property> 　　 　　& lt;/configuration> 　　 　　

2. hdfs-site.xml 　　 　　 　　& lt; configuration> 　　& lt; !——NameNode配置:在 　　& lt; property> 　　& lt; name> dfs.replication 　　& lt; value> 2 & lt;/value> 　　& lt;/property> 　　 　　& lt; property> 　　& lt; name> dfs.namenode.name.dir 　　& lt; value>文件:/数据/hdfs/name 　　& lt;/property> 　　 　　& lt; property> 　　& lt; name> dfs.datanode.data.dir 　　& lt; value>文件:/数据/hdfs/data 　　& lt;/property> 　　 　　& lt; property> 　　& lt; name> dfs.namenode.secondary.http-address 　　& lt; value> s101:50090 　　& lt;/property> 　　 　　& lt; property> 　　& lt; name> dfs.namenode.http-address 　　& lt; value> s101:50070 　　& lt; description> 　　的地址和基本港口dfs namenode web ui将听> 　　& lt; configuration> 　　& lt; property> 　　& lt; name> mapreduce.framework.name 　　& lt; value> yarn 　　& lt;/property> 　　& lt;/configuration> 　　 　　

4. yarn-site.xml 　　 　　 　　& lt; configuration> 　　 　　& lt; !——网站具体的纱配置属性比; 　　& lt; property> 　　& lt; name> yarn.nodemanager.aux-services 　　& lt; value> mapreduce_shuffle 　　& lt;/property> 　　& lt; property> 　　& lt; name> yarn.resourcemanager.hostname 　　& lt; value> s101 　　& lt;/property> 　　& lt;/configuration> 　　 　　

到此成功一半..............

　　

创建文件夹

　　 　　 　　mkdir/数据/hdfs/tmp 　　mkdir/数据/hdfs/var 　　mkdir/数据/hdfs/日志 　　mkdir/数据/hdfs/dfs 　　mkdir/数据/hdfs数据 　　mkdir/数据/hdfs名字 　　mkdir/数据/hdfs/检查站 　　mkdir/数据/hdfs/编辑 　　 　　

记得将目录权限修改

　　
    　　<李> sudo乔恩ubantu: ubantu/数据 　　
　　

接下来传输/软文件夹到其他主机

　　

创建xsync可执行文件

　　

<代码> sudo触摸xsync
　　

　　

<代码> sudo chmod 777 xsync> 　　

　　

<代码> sudo 纳米xsync ,
　　

ubantu Hadoop 16.4下完全分布式搭建实战教程