在使用过程中,当集群硬盘故障什么更换新的硬盘呢,下面我们来演示
查看ceph状态
root@pve-1: ~ # ceph osd树
ID类重量类型名称状态调整PRI-AFF
1根0.43822默认
3 0.14607主机pve-1
0 osd 0.04869硬盘。0 1.00000 1.00000
3 osd 0.04869硬盘。3到1.00000 - 1.00000
7 osd 0.04869硬盘。7 1.00000 - 1.00000
5 0.14607主机pve-2
2硬盘0.04869 osd。2 1.00000 - 1.00000
4硬盘0.04869 osd。4到1.00000 - 1.00000
6 osd 0.04869硬盘。6到1.00000 - 1.00000
7 0.14607主机pve-3
1硬盘0.04869 osd。1 1.00000 - 1.00000
5 osd 0.04869硬盘。5到1.00000 - 1.00000
8 osd 0.04869硬盘。8到1.00000 - 1.00000
都是正常的,等下我把一个硬盘去掉
ceph osd树
ID类重量类型名称状态调整PRI-AFF
1根0.43822默认
3 0.14607主机pve-1
0 osd 0.04869硬盘。0 1.00000 1.00000
3 osd 0.04869硬盘。3到1.00000 - 1.00000
7 osd 0.04869硬盘。7 1.00000 - 1.00000
5 0.14607主机pve-2
2硬盘0.04869 osd。2 1.00000 - 1.00000
4硬盘0.04869 osd。4到1.00000 - 1.00000
6 osd 0.04869硬盘。6到1.00000 - 1.00000
7 0.14607主机pve-3
1硬盘0.04869 osd。1 1.00000 - 1.00000
5 osd 0.04869硬盘。5到1.00000 - 1.00000
8 osd 0.04869硬盘。8到1.00000 - 1.00000
osd.8变成下了
然后我们模拟删除硬盘和添加硬盘
ceph osd osd。8
ceph auth del osd。8
ceph osd rm 8
root@pve-1: ~ # ceph osd树
ID类重量类型名称状态调整PRI-AFF
1根0.43822默认
3 0.14607主机pve-1
0 osd 0.04869硬盘。0 1.00000 1.00000
3 osd 0.04869硬盘。3到1.00000 - 1.00000
7 osd 0.04869硬盘。7 1.00000 - 1.00000
5 0.14607主机pve-2
2硬盘0.04869 osd。2 1.00000 - 1.00000
4硬盘0.04869 osd。4到1.00000 - 1.00000
6 osd 0.04869硬盘。6到1.00000 - 1.00000
7 0.14607主机pve-3
1硬盘0.04869 osd。1 1.00000 - 1.00000
5 osd 0.04869硬盘。5到1.00000 - 1.00000
8 osd 0.04869硬盘。8 DNE 0
osd。8的状态是DNE
删除故障节点的ceph磁盘,操作如下:
ceph osd粉碎rm osd。8
root@pve-1: ~ # ceph osd树
ID类重量类型名称状态调整PRI-AFF
1根0.38953默认
3 0.14607主机pve-1
0 osd 0.04869硬盘。0 1.00000 1.00000
3 osd 0.04869硬盘。3到1.00000 - 1.00000
7 osd 0.04869硬盘。7 1.00000 - 1.00000
5 0.14607主机pve-2
2硬盘0.04869 osd。2 1.00000 - 1.00000
4硬盘0.04869 osd。4到1.00000 - 1.00000
6 osd 0.04869硬盘。6到1.00000 - 1.00000
7 0.09738主机pve-3
1硬盘0.04869 osd。1 1.00000 - 1.00000
5 osd 0.04869硬盘。5到1.00000 - 1.00000
osd.8已经找不到了
说明删除成功
查看我们添加的硬盘信息
lsblk
名称MAJ: MIN RM大小RO类型挂载点
sda 8:0 20 g 0磁盘。
├─sda1 8:1 0 1007 k 0
一部分├─sda2宣告0 512 0
一部分└─sda3八3 0 19.5 g 0
一部分├─pve-swap 253:0 0 2.4 g 0 lvm(交换)
├─pve-root 253:1 0 4.8 g 0 lvm/
├─pve-data_tmeta 253:2 0 1 g 0 lvm
│└─pve-data 253:4 0 8 g 0 lvm
└─pve-data_tdata 253:3 0 8 g 0 lvm
└─pve-data 253:4 0 8 g 0 lvm
深发展八16 0 0 50克磁盘
├─sdb1 8 0 100 0一部分/var/lib/ceph/osd/ceph-1
└─sdb2 8:18 0 49.9 g 0
部分署32 0 50克0磁盘
├─sdc1 33 100 0一部分/var/lib/ceph/osd/ceph-5
└─sdc2 8:34 0 49.9 g 0
sdd 48一部分磁盘0 50克0
sr0 11:0 1 655.3 0罗
pveceph createosd/dev/sdd
root@pve-3: ~ # ceph osd树
ID类重量类型名称状态调整PRI-AFF
1根0.43822默认
3 0.14607主机pve-1
0 osd 0.04869硬盘。0 1.00000 1.00000
3 osd 0.04869硬盘。3到1.00000 - 1.00000
7 osd 0.04869硬盘。7 1.00000 - 1.00000
5 0.14607主机pve-2
2硬盘0.04869 osd。2 1.00000 - 1.00000
4硬盘0.04869 osd。4到1.00000 - 1.00000
6 osd 0.04869硬盘。6到1.00000 - 1.00000
7 0.14607主机pve-3
1硬盘0.04869 osd。1 1.00000 - 1.00000
5 osd 0.04869硬盘。5到1.00000 - 1.00000
8 osd 0.04869硬盘。8到1.00000 - 1.00000
从ceph集群中删除物理节点,操作如下:
ceph osd粉碎rm pve-3
从集群中删除故障节点
登录集群中任意正常节点,执行如下指令进行驱逐操作:
pvecm delnode pve-3
故障机恢复操作
最好全部干掉,重新安装系统,并用新的ip地址,加入集群。
