Hadoop中怎么配置HBase单机环境,针对这个问题,这篇文章详细介绍了相对应的分析和解答,希望可以帮助更多想解决这个问题的小伙伴找到更简单易行的方法。
Hadoop HBase单机环境怎么配置
在初接触Hadoop和HBase的时候,大多数技术人员只希望通过简单的方法初步搭起框架环境,但我找了好多安装手册都是上来就部署集群分布环境(尽管做Hadoop就是为了这个目的),搭建集群环境的时候要设置ssh协议访问权限,要生成访问公钥,并且奴隶配置上的小错误也会导致整个部署问题重重,所以我在部署成功后记录下最简单运行的独立模式的安装配置过程,希望初学者在需要的时候能找到这个小小的指南,以后有时间我会再把集群配置的方法写出来。
开始:
1。在Apache Hadoop/项目的网站(hadoop.apache.org)下载Hadoop以及hbase的发行包,此处两个发行包的大版本号一定要一致,譬如都是0.18版本:
hadoop-0.18.2.tar。广州
hbase-0.18.1.tar。广州
2。使用根身份登录目标服务器系统(Suse10 Linux),首先安装java虚拟机,这个比较简单,随便找个绿色的解压就可以了,在这个例子里面我使用IBM WAS6.1附带的jdk,它的家里目录是/opt/IBM/WebSphere/AppServer/java,我们只需要配置系统的环境变量就可以了。
编辑全局环境变量文件/etc/profile,在文件后面添加
export JAVA_HOME=/opt/IBM/WebSphere/AppServer/java
出口路径=$ JAVA_HOME:美元路径
保存概要文件后使用源/etc/profile
命令重新加载,然后随便在一个目录下面运行java - version
查看javahome环境变量和路径变量是否被正确加载。
另外到/etc/hosts文件中查看主机映射是否存在,例如localhost或127.0.0.1者什么其他的名字,在这里默认配置本机为主机,如果需要做分布式的话,本机要做namenode,所以要把所有的datanode的主人添加到这里面。
3。创建hadoop用户,
useradd hadoop
可以用
passwd hadoop
修改hadoop用户的登录密码。
4。创建hadoop用户的家庭目录,如果打算在别处安装hadoop/hbase的话可以不这样做,这里我们默认将hadoop/hbase安装在/home/$ {username}目录下。
cd/home
mkdir hadoop
将目录用户指派给hadoop
乔恩hadoop hadoop
改变目录权限,这里我们配大一些,其实只要644就足够了:
chmod 755 hadoop
5。使用hadoop用户登录系统,将下载的两个发行包文件传到/home/hadoop目录下面,然后给它们加上执行权限:
chmod + x hadoop-0.18.2.tar。广州
chmod + x hbase-0.18.1.tar。广州
Hadoop HBase单机环境怎么配置
6。解压hadoop:
焦油zxvf hadoop-0.18.2.tar。广州
这样做会在/home/hadoop目录下解压hadoop发行包并创建到/home/hadoop/hadoop-0.18.2目录中,这里可以详细设计目录结构并创建链接文件来方便日后升级等工作,这里我们先简单放在这里。
7。修改hadoop环境脚本:
修改文件/home/hadoop/hadoop-0.18.2/conf/hadoop-env。上海,在其中加入JAVA_HOME变量:
出口JAVA_HOME=/opt/IBM/WebSphere/AppServer/java
HADOOP_HOME变量我们可以不设置,默认的情况是指定HADOOP_HOME为运行启动脚本当前目录的父目录。
8。修改hadoop启动配置:
参照默认配置文件/home/hadoop/hadoop-0.18.2/conf/hadoop-default。xml修改用户配置文件/home/hadoop/hadoop-0.18.2/conf/hadoop-site.xml, hadoop启动的时候会加载默认配置文件,然后读取用户配置文件并使用用户配置文件中的属性替换默认配置文件中的值,这里最简单的情况我们只需要修改如下几项即可,如果需要做分布的话也是要在这个文件里面进行配置。将要修改的配置项简单的放到hadoop-site。xml文件的中去:
fs.default.name
hdfs://localhost: 9000/
mapred.job。追踪
localhost: 9001
9。格式化节点名及启动hdfs守护进程:
/home/hadoop/hadoop-0.18.2/bin/hadoop namenode格式
/home/hadoop/hadoop-0.18.2/bin/开始。sh
使用shart-all.sh可以方便的启动所有的hdfs守护进程,如果想关闭这些守护进程可以使用stop-all.sh脚本。
启动过程中需要输入登录密码。
启动成功后可以用以下简单方法测试hdfs:
/home/hadoop/hadoop-0.18.2/bin/hadoop dfs mkdir dir4test
/home/hadoop/hadoop-0.18.2/bin/hadoop dfs - ls
/home/hadoop/hadoop-0.18.2/bin/hadoop dfs——/home/hadoop/file4test.一边邮政file4test_temp。zip
相当于linux系统下的mkdir ls cp命令。
用浏览器访问http://localhost: 50030/和http://localhost: 50070/可以查看hdfs拓扑结构和工作进程还有hdfs文件系统结构。
