Hadoop系列(四)Hadoop开发环境搭建

　　

一、前置条件

　　

Hadoop的运行依赖JDK,需要预先安装,安装步骤见:

　　
    　　<李> Linux下JDK的安装李 　　
　　

二,配置免密登录

　　

Hadoop组件之间需要基于SSH进行通讯。

　　
2.1配置映射h5> 配置ip地址和主机名映射:

　　
 <代码类=" language-shell "> vim/etc/hosts
　　#文件末尾增加
　　192.168.43.202 hadoop001
　　

2.2生成公私钥

　　

执行下面命令行生成公匙和私匙:

　　
 <代码> ssh - keygen rsa - t
　　

3.3授权

　　

进入<代码> ~/sh 目录下,查看生成的公匙和私匙,并将公匙写入到授权文件:

　　
 <代码类=" language-shell "> [root@@hadoop001 sbin] # cd ~/. ssh
　　(root@@hadoop001 . ssh) #噢
　　- r。1根根1675年3月15日09:48 id_rsa
　　-rw-r——r。1根根388年3月15日09:48 id_rsa . pub
　　
 <代码类=" language-shell "> #写入公匙到授权文件
　　#猫id_rsa root@hadoop001 . ssh。酒吧在祝辞authorized_keys
　　(root@hadoop001 . ssh) # chmod 600 authorized_keys
　　

三,Hadoop (HDFS)环境搭建

　　

3.1下载并解压

　　

下载Hadoop安装包,这里我下载的是鼎晖版本的,下载地址为:http://archive.cloudera.com/cdh6/cdh/5/

　　
 <代码类=" language-shell "> #解压
　　焦油-zvxf hadoop-2.6.0-cdh6.15.2.tar。广州
　　

3.2配置环境变量

　　
 <代码类=" language-shell "> # vi/etc/profile
　　

配置环境变量:

　　
 <代码>出口HADOOP_HOME=/usr/app/hadoop-2.6.0-cdh6.15.2
　　导出路径=$ {HADOOP_HOME}/bin:美元路径
　　

执行<代码> 来源命令,使得配置的环境变量立即生效:

　　
 <代码类=" language-shell "> #源/etc/profile
　　

3.3修改Hadoop配置

　　

进入<代码> $ {HADOOP_HOME}/etc/hadoop/目录下,修改以下配置:

　　
1。hadoop-env.sh h5> <代码类=" language-shell "> # JDK安装路径 　　出口JAVA_HOME=/usr/java/jdk1.8.0_201/ 　　
2。core-site.xml h5> <代码类="语言xml "> & lt; configuration> 　　& lt; property> 　　& lt; !——指定namenode的hdfs协议文件系统的通信地址——比; 　　& lt; name> fs.defaultFS 　　& lt; value> hdfs://hadoop001:8020 　　& lt;/property> 　　& lt; property> 　　& lt; !——指定hadoop存储临时文件的目录——比; 　　& lt; name> hadoop.tmp.dir 　　& lt; value>/home/hadoop/tmp 　　& lt;/property> 　　& lt;/configuration> 　　
3。hdfs-site.xml h5> 指定副本系数和临时文件存储位置:

　　
 <代码类="语言xml "> & lt; configuration>
　　& lt; property>
　　& lt; !——由于我们这里搭建是单机版本,所以指定dfs的副本系数为1——比;
　　& lt; name> dfs.replication
　　& lt; value> 1 & lt;/value>
　　& lt;/property>
　　& lt;/configuration>
　　
4。奴隶h5> 配置所有从属节点的主机名或IP地址,由于是单机版本,所以指定本机即可:

　　
 <代码类=" language-shell "> hadoop001
　　

3.4关闭防火墙

　　

不关闭防火墙可能导致无法访问Hadoop的Web UI界面:

　　
 <代码类=" language-shell "> #查看防火墙状态
　　sudo firewall-cmd——国家
　　#关闭防火墙:
　　sudo systemctl停止firewalld.service
　　

3.5初始化

　　

第一次启动Hadoop时需要进行初始化,进入<代码> $ {HADOOP_HOME}/bin/目录下,执行以下命令:

　　
 <代码类=" language-shell "> (root@hadoop001本)#。/hdfs namenode格式代码 之前
　　
 3.6启动HDFS 

　　
进入<代码> $ {HADOOP_HOME}/sbin/目录下,启动HDFS: 

　　
 <代码类=" language-shell "> (root@hadoop001 sbin) #。/start-dfs.sh  

　　
 3.7验证是否启动成功

　　
方式一:执行<代码>译本>  NameNode 和<代码> DataNode 服务是否已经启动:

　　
 <代码类=" language-shell "> [root@hadoop001 hadoop-2.6.0-cdh6.15.2] #译本
　　9137年DataNode
　　9026年NameNode
　　9390年SecondaryNameNode  

　　
方式二:查看Web UI界面,端口为<代码> 50070 :

　　
  Hadoop系列(四)Hadoop开发环境搭建 

　　
四,Hadoop(纱)环境搭建

　　
 4.1修改配置
Hadoop系列(四)Hadoop开发环境搭建