这篇文章主要为大家展示了“hadoop如何搭建hbase集群”,内容简而易懂,条理清晰,希望能够帮助大家解决疑惑,下面让小编带领大家一起研究并学习一下“hadoop如何搭建hbase集群”这篇文章吧。
一:卸载redhat操作系统默认jdk
1:查找安装默认安装jdk
,,rpm qa | grep java
2:删除jdk
,,rpm - e - nodeps java-1.6.0-openjdk-1.6.0.0-1.21.b17.el6.x86_64
二:安装jdk
1:使用根账号安装
2:创建目录:/usr/java
3:下载jdk存放到/usr/java目录:jdk-6u33-linux-x64.bin
4:给安装文件添加执行权限:
,,chmod + x jdk-6u43-linux-x64.bin
5:执行jdk安装包
,,/jdk-6u43-linux-x64。本
6:在/etc/profile文件中添加环境变量
出口JAVA_HOME=/usr/java/jdk1.6.0_43
出口JRE_HOME=$ JAVA_HOME/jre
出口CLASSPATH=: $ JAVA_HOME/lib/dt.jar: $ JAVA_HOME/lib/tools.jar: $ JRE_HOME/lib/rt。jar
出口路径=$路径:$ JAVA_HOME/bin
7:配置生效,执行下面命令源/etc/profile
8:配置内很参数
设置每个进程可以打开文件数目,以及同时启动的最大进程数量。
vi/etc/security/limits.参看
hadoop软nofile 65535
hadoop硬nofile 65535
hadoop软nproc 32000
hadoop硬nproc 32000年
回声“会话需要pam_limits.so"在比;/etc/pam.d/common-session
9: vm。swappiness参数设置,调低内存页交换到磁盘中的主动程度。
回声“vm。swappiness=0,在比;/etc/sysctl.conf
三:主机分配,在每一个机器的的/etc/主机文件中添加下面四行内容
192.168.205.23 inm1
192.168.205.24 inm2
192.168.205.25 inm3
192.168.205.26 inm4
四:关闭所有机器防火墙
service iptables站chkconfig iptables
五:在每台机器上创建hadoop用户组合hadoop用户
1:创建用户组:groupadd hadoop
2:创建用户:useradd - g hadoop hadoop
3:修改密码:密码hadoop
六:在主人。hadoop机器上配置SSH
[hadoop@master, ~]美元SSH - keygen rsa - p - t““
,,输入文件中保存的关键(/home/hadoop/. ssh/id_rsa):/home/hadoop/.ssh/id_rsa
[hadoop@master, ~]猫$ HOME/. ssh/id_rsa。酒吧在祝辞$ HOME/sh/authorized_keys
[hadoop@master, ~] chmod 700 ~/sh/
[hadoop@master, ~] chmod 600 ~/sh/authorized_key
验证
[hadoop@master, ~) ssh localhost
[hadoop@master, ~) ssh inm1
复制ssh配置到其它机器
[hadoop@master, ~] ssh-copy-id - $ HOME/. ssh/id_rsa。酒吧hadoop@inm2
[hadoop@master, ~] ssh-copy-id - $ HOME/. ssh/id_rsa。酒吧hadoop@inm3
七:管理员三节点集群安装
1:使用三台服务器安装饲养员,安装在hadoop用户上
,,192.168.205.24,192.168.205.25,192.168.205.26
2:使用cloudera版本动物园管理员:zookeeper-3.4.5-cdh5.4.0.tar.gz
3:解压并修改目录名称
,,焦油-zxf zookeeper-3.4.5-cdh5.4.0.tar。广州
4:配置动物园管理员,在相依之目录下创建zoo.cfg文件,添加文件内容
,,tickTime=2000,
,,initLimit=5,,
,,syncLimit=2,,
,,dataDir=/homt/hadoop/存储/管理员/数据
,,dataLogDir=/homt/hadoop/存储/管理员/logs ,
,,clientPort=2181
,,server.1=inm2:2888:3888 ,
,,server.2=inm3:2888:3888 ,
,,server.3=inm4:2888:3888
,,maxClientCnxns=60
5:设置JVM参数,在conf/java.env文件添加如下内容
,,出口JVMFLAGS=?Xms1g -Xmx1g JVMFLAGS"美元;
6:创建动物园管理员的数据文件和日志存放目录
,,/home/hadoop/storage/zookeeper/data
,,/home/hadoop/storage/zookeeper/logs
,,在/home/hadoop/存储/管理员/数据目录中创建文件myid,添加内容为:1
7:复制安装的动物园管理员和存储目录到inm3和inm4机器上。
,,scp - r饲养员inm4:/home/hadoop
,,scp - r存储inm4:/home/hadoop
,,修改inm3机器上myid文件中值为2
,,修改inm3机器上myid文件中值为3
8:启动服务器
,,/bin/zkServer。sh开始
9:验证安装
,,/bin/zkCli。sh - server inm3:2181
八:安装HDFS, hadoop-2.0.0-cdh5.2.0
用户hadoop账号进入系统
1:解压焦油-xvzf hadoop-2.0.0-cdh5.4.0.tar。广州
2:配置Hadoop环境变量:修改六世~/ashrc,(在文件最后面加上如下配置:
export HADOOP_HOME=?home/hadoop/hadoop-2.0.0-cdh5.4.0"
export HADOOP_MAPRED_HOME=?home/hadoop/hadoop-2.0.0-mr1-cdh5.4.0"
export HBASE_HOME=?home/hadoop/hbase-0.94.6-cdh5.4.0"
出口路径=$路径:$ HADOOP_HOME/bin: $ HADOOP_HOME/sbin: $ HBASE_HOME/bin
#防止启动hdfs时,出现找不到本机自由错误。
出口LD_LIBRARY_PATH=$ LD_LIBRARY_PATH: $ HADOOP_HOME/lib/本地/
4:进入hadoop-2.0.0-cdh5.4.0/src目录,构建hadoop原生自由:libhadoop.so
,,mvn包-Pnative -DskipTests -Dbundle。时髦的=true -Dsnappy.prefix=/usr/地方/lib
