大数据学习系列之四- - - - - - Hadoop +蜂巢环境搭建图文详解(单机) - 行业资讯

版权声明:
虚无境
博客园出处:http://www.cnblogs.com/xuwujing
CSDN出处:http://blog.csdn.net/qazwsxpcm
个人博客出处:http://www.panchengming.com
原创不易,转载请标明出处,谢谢!

引言

在大数据学习系列之一- - - - - - Hadoop环境搭建(单机)成功的搭建了Hadoop的环境,在大数据学习系列之二——HBase环境搭建(单机)成功搭建了HBase的环境以及相关使用介绍。本文主要讲解如何搭建Hadoop +蜂巢的环境。

一、环境准备

1,服务器选择

本地虚拟机
操作系统:linux CentOS 7
Cpu: 2核
内存:2 g
硬盘:40 g

<强>说明:因为使用阿里云服务器每次都要重新配置,而且还要考虑网络传输问题,于是自己在本地便搭建了一个虚拟机、方便文件的传输以及相关配置,缺点是本来卡的电脑就变得更卡了。具体教程和使用在上一遍博文中。
地址:http://blog.csdn.net/qazwsxpcm/article/details/78816230。

2,配置选择

JDK: 1.8 (jdk-8u144-linux-x64.tar.gz)
Hadoop: 2.8.2 (hadoop-2.8.2.tar.gz)
蜂巢:2.1 (apache-hive-2.1.1-bin.tar.gz)

3,下载地址

　　JDK

:
http://www.oracle.com/technetwork/java/javase/downloads
Hadopp: http://www.apache.org/dyn/closer.cgi/hadoop/common

蜂巢http://mirror.bit.edu.cn/apache/hive/

百度云盘:
链接:https://pan.baidu.com/s/1slxBsHv密码:x51i

二、服务器的相关配置

在配置Hadoop +蜂巢之前,应该先做一下配置。
做这些配置为了方便,使用根权限。

1,更改主机名

首先更改主机名,目的是为了方便管理。
输入:

 <代码>主机名

查看本机的名称
然后更改主机名为大师
输入:

 <代码> hostnamectl set-hostname大师

<强>注:主机名称更改之后,要重启(重启)才会生效。

2,做知识产权和主机名的映射

修改主机文件,做关系映射
输入

 <代码>/etc/hosts vim

添加
主机的ip和主机名称

 <代码> 192.168.238.128大师

3,关闭防火墙

关闭防火墙,方便访问。
<强> CentOS 7版本以下输入:
关闭防火墙

 <代码>服务iptables停止

<强> CentOS 7以上的版本输入:

 <代码> systemctl停止firewalld.service

3,时间设置

查看当前时间
输入:

 <代码>日期

查看服务器时间是否一致,若不一致则更改
更改时间命令

 <代码>日期- s“MMDDhhmmYYYY.ss”

三,Hadoop安装和配置

Hadoop的具体配置在大数据学习系列之一- - - - - - Hadoop环境搭建(单机)中介绍得很详细了,所以本文就大体介绍一下。
<强>注:具体配置以自己的为准。

1,环境变量设置

编辑/etc/profile文件:

 <代码> vim/etc/profile

配置文件:

 <代码>出口HADOOP_HOME=/opt/hadoop/hadoop2.8
　　出口HADOOP_COMMON_LIB_NATIVE_DIR=$ HADOOP_HOME/lib/本地
　　出口HADOOP_OPTS=" -Djava.library.path=$ HADOOP_HOME/lib "
　　导出路径=?$ {JAVA_HOME}/bin: $ {HADOOP_HOME}/bin: $路径

2,配置文件更改

先切换到/home/hadoop/hadoop2.8/etc/hadoop/目录下

3.2.1修改core-site.xml h5>

输入: 　　

 <代码> vim core-site.xml

在& lt; configuration>添加:

 <代码> & lt; configuration>
　　& lt; property>
　　& lt; name> hadoop.tmp.dir
　　& lt; value>/根/hadoop/tmp
　　& lt; description>降低其他临时目录。你们;/description>
　　& lt;/property>
　　& lt; property>
　　& lt; name> fs.default.name
　　& lt; value> hdfs://主:9000 & lt;/value>
　　& lt;/property>
　　& lt;/configuration>

3.2.2修改hadoop-env.sh

输入: 　　

 <代码> vim hadoop-env.sh

将$ {JAVA_HOME}修改为自己的JDK路径

 <代码>出口JAVA_HOME=$ {JAVA_HOME}

修改为:

 <代码>出口JAVA_HOME=/home/java/jdk1.8

3.2.3修改hdfs-site.xml

输入: 　　

 <代码> vim hdfs-site.xml

在& lt; configuration>添加: