环境描述
根据需求,部署hadoop-3.0.0基础功能架构,以三节点为安装环境,操作系统CentOS 7 x64;
openstack创建三台虚拟机,开始部署;
IP地址主机名主
10.10.204.31 10.10.204.32 node1
10.10.204.33 node2
功能节点规划
主node1 node2
NameNode
DataNode DataNode DataNode
HQuorumPeer NodeManager NodeManager
ResourceManager SecondaryNameNode
HMaster
三节点执行初始化操作,
1。更新系统环境;
百胜清洗所有的,,百胜makecache快,,yum更新- y,和yum安装- y wget vim net-tools git ftp zip解压
2。根据规划修改主机名;
hostnamectl set-hostname大师
hostnamectl set-hostname node1
hostnamectl set-hostname node2
3。添加主机解析;
的/etc/hosts vim 10.10.204.31大师
10.10.204.32 node1
10.10.204.33 node2
4。平测试三台主机之间主机名互相解析正常;
平主
萍node1
萍node2
5。下载安装JDK环境;
# hadoop 3.0版本需要JDK 8.0支持。
cd/opt/
#通常情况下,需要登录甲骨文官网,注册账户,同意其协议后,才能下载,在此根据链接直接wget方式下载;
wget——无Cookie——no-check-certificate——头“饼干:gpw_e24 3=http % % 2 f % 2 fwww.oracle.com % 2 f;oraclelicense=accept-securebackup-cookie"“https://download.oracle.com/otn-pub/java/jdk/8u202-b08/1961070e4c9b4e26a04e7f5a083f551e/jdk-8u202-linux-x64.tar.gz"
#创建JDK和hadoop安装路径
cp mkdir/opt/模块/opt/jdk-8u202-linux-x64.tar。广州/opt/模块
cd/opt/模块焦油zxvf jdk-8u202-linux-x64.tar。广州
#配置环境变量
export JAVA_HOME=?opt/模块/jdk1.8.0_202"
导出路径=$ JAVA_HOME/bin/: $源路径
/etc/profile
#永久生效配置方式
vim/etc/bashrc
添加行号出口JAVA_HOME=?opt/模块/jdk1.8.0_202"
=$ JAVA_HOME/bin/出口路径:路径
6美元。下载解压hadoop-3.0.0安装包,cd/opt/
wget http://archive.apache.org/dist/hadoop/core/hadoop-3.0.0/hadoop-3.0.0.tar.gz
cp/opt/hadoop-3.0.0.tar。广州/模块/
cd/opt/模块焦油zxvf hadoop-3.0.0.tar.gz
7。关闭selinux/firewalld防火墙;
systemctl禁用firewalld
vim/etc/sysconfig/selinux
禁用selinux=
8。重启服务器;重新启动
主节点操作,
说明:
测试环境,全部使用根账户进行安装运行hadoop;
1。添加ssh免密码登陆;
ssh - keygen cd
# #三次回车即可
#拷贝密钥文件到node1和node2主
ssh-copy-id ssh-copy-id node1
ssh-copy-id node2
2。测试免密码登陆正常;
大师ssh node1
ssh node2
3。修改hadoop配置文件;
对于hadoop配置,需修改配置文件:
hadoop-env.sh
yarn-env.sh
core-site.xml
hdfs-site.xml
mapred-site.xml
yarn-site.xml工人
cd/opt/模块/hadoop-3.0.0/etc/hadoop
vim hadoop-env。sh
export JAVA_HOME=/opt/模块/jdk1.8.0_202
vim yarn-env。sh
export JAVA_HOME=/opt/模块/jdk1.8.0_202
配置文件解析:https://blog.csdn.net/m290345792/article/details/79141336
vim core-site.xml
& lt; configuration>
& lt; property>
& lt; name> fs.defaultFS
& lt; value> hdfs://主:9000 & lt;/value>
& lt;/property>
& lt; property>
& lt; name> io.file.buffer.size
& lt; value> 131072 & lt;/value>
& lt;/property>
& lt; property>
& lt; name> hadoop.tmp.dir
& lt; value>/数据/tmp
& lt;/property>
& lt; property>
& lt; name> hadoop.proxyuser.hadoop.hosts
& lt; value> & lt;/value>
& lt;/property>
& lt; property>
& lt; name> hadoop.proxyuser.hadoop.groups
& lt; value> & lt;/value>
& lt;/property>
& lt;/configuration>
# io.file.buffer。队规模列文件中的读/写缓冲区大小
vim hdfs-site.xml
& lt; configuration>
& lt; property>
& lt; name> dfs.namenode.secondary.http-address
& lt; value> slave2:50090
& lt;/property>
& lt; property>
& lt; name> dfs.replication
& lt; value> 3 & lt;/value>
& lt; description>副本个数,配置默认是3,应小于datanode机器数量& lt;/description>
& lt;/property>
& lt; property>
& lt; name> hadoop.tmp.dir
& lt; value>/数据/tmp
& lt;/property>
& lt;/configuration>
# # # namenode配置
# dfs.namenode.name.dir namenode持久存储名称空间和事务日志的本地文件系统上路径,如果这是一个逗号分隔的目录列表,那么将在所有目录中复制名称的表,以进行冗余。
# dfs。主机/dfs.hosts。排除包含/摒弃的数据存储节点清单,如果有必要,使用这些文件来控制允许的数据存储节点列表
