Hadoop部署之环境准备(一)

　　

一、软硬件规划

　　 　　 　　 　　<强> ID 　　<强>主机类型 　　<强>主机名 　　<强> IP 　　<强>应用软件 　　<>强操作系统 　　<强>硬件配置 　　 　　 　　 　　 　　1 　　物理机 　　namenode01 　　192.168.1.200 　　jdk1.8.0_171、hadoop-2.7.3 hive-2.3.3、hbase-1.2.6 zookeeper-3.4.10 spark-2.3.1 　　CentOS7.4 　　6核的CPU, 8 g内存250存储 　　 　　 　　2 　　物理机 　　datanode01 　　192.168.1.201 　　jdk1.8.0_171、hadoop-2.7.3 hive-2.3.3、hbase-1.2.6 zookeeper-3.4.10 spark-2.3.1 　　CentOS7.4 　　6核的CPU, 8 g内存250存储 　　 　　 　　3. 　　物理机 　　datanode02 　　192.168.1.202 　　jdk1.8.0_171、hadoop-2.7.3 hive-2.3.3、hbase-1.2.6 zookeeper-3.4.10 spark-2.3.1 　　CentOS7.4 　　6核的CPU, 8 g内存250存储 　　 　　 　　4 　　物理机 　　datanode03 　　192.168.1.203 　　jdk1.8.0_171、hadoop-2.7.3 hive-2.3.3、hbase-1.2.6 zookeeper-3.4.10 spark-2.3.1 　　CentOS7.4 　　6核的CPU, 8 g内存250存储 　　 　　 　　 　　

我这里规划的角色不是太好,如果是四台机器,建议大家按照我们下面的分配

　　
    　　<李> <强>管理员
    管理员服务器:namenode01李 　　<李> <>强HDFS
    NameNode: namenode01
    SecondaryNameNode: namenode01
    DataNode: DataNode[01-03] 　　<李> <>强纱
    ResourceManager: namenode01
    NodeManager: datanode[01-03] 　　<李> <>强HBase
    主:namenode01
    RegionServer: datanode[01-03] 　　<李> <>强蜂巢
    HiveServer2: namenode01
    蜂巢Metastore服务器:namenode01李 　　<李> <>强火花
    主:namenode01
    工作人员:datanode[01-03] 　　
　　

二、主机名解析

　　

修改四台服务器的主机名。

　　
 <代码> 192.168.1.200 namenode01 hbase01 spark01 hive01 cluster1
　　192.168.1.201 datanode01 hbase02 spark02 zk01 mysql01
　　192.168.1.202 datanode02 hbase03 spark03 zk02
　　192.168.1.203 datanode03 hbase04 spark04 zk03
　　

Hadoop部署之环境准备(一)

　　

三,配置SSH互信

　　

在namenode01节点上面进行操作。

　　
 <代码> ssh - keygen - t rsa
　　ssh-copy-id namenode01
　　ssh-copy-id datanode01
　　ssh-copy-id datanode02
　　ssh-copy-id datanode03
　　

四、创建用户

　　

创建用户(4台机器相同操作)

　　
 <代码> useradd hadoop,,回声‘123456’| passwd, stdin hadoop
　　

使用命令<代码> visudo 设置用户权限(4台机器相同操作),添加如下内容:

　　
 <代码> hadoop所有=()
　　

五,JDK的安装

　　

下载JDK1.8,可以选择下载rpm包,直接安装即可使用。
https://www.oracle.com/technetwork/java/javase/downloads/jdk8 -下载- 2133151. - html

Hadoop部署之环境准备(一)