2019/1/21星期一
<人力资源/> 2.3.1。均衡器
运行一个集群平衡工具。管理员可以通过按Ctrl + C键停止再平衡过程。
数据平衡的需求
<强> HDFS数据不平衡的原因
1。某个DataNode机器内硬盘存储达到饱和值。
2。集群内新增、删除节点。
<强>数据不平衡的影响
1.地图任务可能会被分配给没有存储数据的机器,结果是不能实现本地计算,最终会导致网络
带宽的消耗。
2。当一些数据节点数据完全满载时,新的数据块只会被存放在有空余数据的节点机器上,造成了并行读取的可能性。
<强>数据平衡过程的要求
1。数据平衡不会导致数据块减少,数据块备份丢失。
2。管理员可以中止数据平衡进程。
3。每次数据块移动的大小应该是可控的,这样可以放置阻塞网络。
4. namenode不会因为数据平衡服务而导致过于繁忙。
<强>数据自动平衡原理
由于使用了平衡算法,导致数据平衡是一个迭代的,周而复始的过程。每一次迭代的最终目的
是让高负载的机器能够降低数据负载,所以数据平衡会最大程度上地使用网络带宽。
数据平衡流程交互图
步骤分析如下:
<代码> 1,数据均衡服务(平衡服务器)首先要求NameNode生成DataNode数据分布分析报告,获取每个DataNode磁盘使用情况 2、再平衡服务器汇总需要移动的数据分布情况,计算具体数据块迁移路线图。数据块迁移路线图,确保网络内最短路径 3、开始数据块迁移任务,代理源数据节点复制一块需要移动数据块 4,将复制的数据块复制到目标DataNode上 5、删除原始数据块 6目标DataNode节点向代理源数据确认该数据块迁移完成 7、代理源数据节点向平衡服务器确认本次数据块迁移完成。然后继续执行这个过程,直至集群达到数据均衡标准
实际操作
1。切换到hdfs用户
<代码> root@hadoop-master ~ # su - hdfs 2 .查看当前的数据分布情况 [hdfs@hadoop-master ~]美元hdfs dfsadmin报告比;/tmp/bq [hdfs@hadoop-master ~]猫/tmp/bq美元 配置容量:273287419086 (254.52 GB) 当前容量:209643254756 (195.25 GB) DFS剩余:199579415524 (185.87 GB) DFS使用:10063839232 (9.37 GB) DFS使用%:4.80% 在复制块:0 块与腐败的副本:0 丢失块:0 丢失块由复制因子(1):0 配置容量:273287419086 (254.52 GB) 现有容量:209643254756 (195.25 GB) DFS剩余:199579415524 (185.87 GB) 使用的DFS: 10063839232 (9.37 GB) 使用DFS %: 4.80% 在复制块下:0 具有损坏副本的块:0 缺少块:0 缺少块(复制因子1):0 ------------------------------------------------- 生活的datanode(3):实时数据节点(3): 名称:192.168.0.117:50010 (hadoop-node01) 主机名:hadoop-node01 机架:/违约 解除状态:正常 配置容量:91095806362 (84.84 GB) DFS使用:3354603520 (3.12 GB) 非DFS使用:12246245786 (11.41 GB) DFS剩余:69809631564 (65.02 GB) DFS使用%:3.68% DFS剩余百分比:76.63% 配置缓存容量:4294967296 (4 GB) 缓存使用:0 (0 B) 剩余缓存:4294967296 (4 GB) 缓存使用%:0.00% 缓存剩下的%:100.00% Xceivers: 10 最后联系:我2019年1月21日10:45:24 CST 名称:192.168.0.117:50010 (hadoop-node01) 主机名:hadoop-node01 机架:/默认 退役状态:正常 配置容量:91095806362 (84.84 GB) 使用的DFS: 3354603520 (3.12 GB) 非DFS使用:12246245786 (11.41 GB) 剩余DFS: 69809631564 (65.02 GB) 使用DFS %: 3.68% DFS剩余%:76.63% 配置的缓存容量:4294967296 (4 GB) 使用的缓存:0 (0 B) 剩余高速缓存:4294967296 (4 GB) 使用的缓存%:0.00% 剩余高速缓存%:100.00% Xceivers: 10 最后联系人:我2019年1月21日10:45:24 CST 名称:192.168.0.118:50010 (hadoop master) 主机名:hadoop master 机架:/违约 解除状态:正常 配置容量:91095806362 (84.84 GB) DFS使用:3354632192 (3.12 GB) 非DFS使用:29517959578 (27.49 GB) DFS剩余:52537889100 (48.93 GB) DFS使用%:3.68% DFS剩余百分比:57.67% 配置缓存容量:4294967296 (4 GB) 缓存使用:0 (0 B) 剩余缓存:4294967296 (4 GB) 缓存使用%:0.00% 缓存剩下的%:100.00% Xceivers: 10 最后联系:我2019年1月21日10:45:24 CST 名称:192.168.0.121:50010 (hadoop-node02) 主机名:hadoop-node02 机架:/违约 解除状态:正常 配置容量:91095806362 (84.84 GB) DFS使用:3354603520 (3.12 GB) 非DFS使用:4823982490 (4.49 GB) DFS剩余:77231894860 (71.93 GB) DFS使用%:3.68% DFS剩余百分比:84.78% 配置缓存容量:4294967296 (4 GB) 缓存使用:0 (0 B) 剩余缓存:4294967296 (4 GB) 缓存使用%:0.00% 缓存剩下的%:100.00% Xceivers: 10 最后联系:我2019年1月21日10:45:24 CST 3 .使用命令平衡数据 [hdfs@hadoop-master ~]美元hdfs均衡器 19/01/21 10:49:19信息均衡器。均衡器:namenode=(hdfs://vg-cdh-test) 19/01/21 10:49:19信息均衡器。均衡器:参数=均衡器。(BalancingPolicy参数。节点,阈值=10.0,最大空闲迭代=5,排除=0的节点数量,包含的节点数量=0,运行期间升级=false) 时间戳迭代#字节已经搬到字节左移动字节被感动 19/01/21 10:49:21信息网。NetworkTopology:添加一个新节点://192.168.0.117:50010违约 19/01/21 10:49:21信息网。NetworkTopology:添加一个新节点://192.168.0.118:50010违约 19/01/21 10:49:21信息网。NetworkTopology:添加一个新节点://192.168.0.121:50010违约 19/01/21 10:49:21信息均衡器。均衡器:0过度:[] 19/01/21 10:49:21信息均衡器。均衡器:0充分利用:[] 集群是平衡的。退出…… 2019-1-21 10:49:21 0 0 0 B 1 B 2019-1-21 10:49:21平衡了2.738秒 4 .查看数据平衡后的数据分布情况 [hdfs@hadoop-master ~]美元hdfs dfsadmin报告比;/tmp/黑洞 美元(hdfs@hadoop-master ~)猫/tmp/bh 配置容量:273287419086 (254.52 GB) 当前容量:209660106924 (195.26 GB) DFS剩余:199596266468 (185.89 GB) DFS使用:10063840456 (9.37 GB) DFS使用%:4.80% 在复制块:0 块与腐败的副本:0 丢失块:0 null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null nullhdfs使用手册均衡器(数据平衡)命令详解
