Hadoop热添加删除节点的步骤 - 行业资讯 - 肥雀云

　　介绍

这篇文章主要讲解了“Hadoop热添加删除节点的步骤”,文中的讲解内容简单清晰,易于学习与理解,下面请大家跟着小编的思路慢慢深入,一起来研究和学习“Hadoop热添加删除节点的步骤”吧!

<强>添加节点

<强> 1。修改主机,
,和普通的datanode一样。添加namenode的ip
<强> 2。修改namenode的配置文件conf/奴隶,
,添加新增节点的ip或主机
<强> 3。在新节点的机器上,启动服务,

 [root@slave - 004, hadoop] #,/bin/hadoop-daemon.sh  start  datanode
　　[root@slave - 004, hadoop] #,/bin/hadoop-daemon.sh  start  tasktracker (hadoop1)
　　[root@slave - 004, hadoop] #,/bin/yarn-daemon.sh  start  nodemanager (hadoop2)

<强> 4。均衡块,

 [root@slave - 004, hadoop] #,。/bin/start-balancer.sh

1)如果不平衡,那么集群会把新的数据都存放在新的节点上,这样会降低mapred的工作效率,
2)设置平衡阈值,默认是10%,值越低各节点越平衡,但消耗时间也更长,

 [root@slave - 004, hadoop] #,/bin/start-balancer.sh  -threshold  5

3)设置平衡的带宽(hdfs-site),默认只有1 m/s

<>之前, 　　,dfs.balance.bandwidthPerSec , 　　,1048576,, 　　,,, 　　,Specifies 从而,maximum amount of bandwidth that each datanode ,, 　　,还要utilize for 从而,balancing purpose 拷贝term of ,, 　　,从而number of bytes per 第二只,, 　　,

注意:
1。必须确保奴隶的防火墙已关闭,
2。确保新的奴隶的ip已经添加到主及其他奴隶的/etc/hosts中,反之也要将主及其他奴隶的ip添加到新的奴隶的/etc/hosts中
3。如果start-balancer.sh运行完了仍然没有反应的话,就把)尽量调小,越小越均衡所耗时间也就越小

 start-balancer.sh  -threshold  1

<强> Hbase

如果还有Hbase在上面运行则需要部署Hbase的hserver
<强> 5。在hbasemaster上修改regionservers
vim/home/hadoop/hbase/conf/regionservers
加入新节点
vim/home/hadoop/hbase/conf/hbase-site.xml
hbase.zookeeper.quorum属性加入新节点
<强> 6。复制上面两个文件到各个节点
<强> 7。在新节点上启动hbase regionserver
,hbase-daemon。sh开始regionserver
<强> 8。在hbasemaster启动hbase壳
用状态命令确认一下集群情况

<>强删除节点

<强> 1。集群配置,
,,修改<强> conf/hdfs-site.xml 强文件

<>之前,,, 　　,dfs.hosts.exclude , 　　,/数据/软/hadoop/conf/excludes , 　　,Names a file that contains a list of hosts that 断开连接,,, 　　,not permitted 用connect 用,namenode只,从而full pathname of ,,, 　　,file must be 指定只,If 从而value is 空,,no hosts 断开连接,,, 　　,排除在外。

<强>编辑conf/mapred-site.xml文件强,增加如下配置:
& lt; property>
,,,,,,,,,& lt; name> mapred.hosts.exclude
,,,,,,,,,& lt; value>/opt/hadoop_conf/exclude_node
& lt;/property>

<强> 2确定要下架的机器,
dfs.hosts.exclude定义的文件内容为,每个需要下线的机器,一行一个。这个将阻止他们去连接Namenode。如:,

<>前奴隶- 003,, 　　奴隶- 004

<强>, <强> 3。强制重新加载配置,

 [root@master  hadoop] #,/bin/hadoop  dfsadmin , -refreshNodes

它会在后台进行块块的移动
<强> 4。关闭节点,
等待刚刚的操作结束后,需要下架的机器就可以安全的关闭了只

 [root@master  hadoop] #,。/bin/, hadoop  dfsadmin 报告

可以查看到现在集群上连接的节点

正在执行解除,会显示:,
　　Decommission  Status : Decommission  progress 拷贝,
　　
　　执行完毕后,会显示:,
　　Decommission  Status :退役

, <强> 5。再次编辑排除文件,
一旦完成了机器下架,它们就可以从排除文件移除了,
登录要下架的机器,会发现DataNode进程没有了,但是TaskTracker依然存在,需要手工处理一下

感谢各位的阅读,以上就是“Hadoop热添加删除节点的步骤”的内容了,经过本文的学习后,相信大家对Hadoop热添加删除节点的步骤这一问题有了更深刻的体会,具体使用情况还需要大家实践验证。这里是,小编将为大家推送更多相关知识点的文章,欢迎关注!