企业常用GFS分布式存储系统

  

从而简介

  
 <代码>开源的分布式文件系统
  由存储服务器,客户端以及NFS/Samba存储网关组成
  无元数据服务器
  从而特点
  扩展性和共性能
  高可用
  全局统一命名空间
  弹性卷管理
  基于标准协议 
  

从而概述

  
 <代码>砖存储节点
  卷卷
  保险丝内核模块,用户端的交互性模块
  vfs虚拟
  Glusterd服务 
  

企业常用GFS分布式存储系统

  

来理解一下这张图:

  
 <代码>上面一层虚拟化管理层,想当于一个应用。缓存,读写头,条带卷,代理想当于API接口
  
  中间rdma传输相当于一个驱动
  下面一层真实的设备相当于一个硬件 
  

clusterFS工作流程

  
 <代码>弹性哈希算法
  通过哈希算法的到一个32位的整数
  划分位N个连续的子空间,每个空间对应一个砖
  弹性哈希算法的优点
  保证数据平均分布在每一个砖中
  解决了对元数据服务器的依赖,进而解决了单点故障以及访问瓶颈
  通过哈希算法的到一个32位算法,去算去选择,因为你的每一个节点都存储一部分数据,你怎么去识别排序,通过算法。 
  

四个砖节点的从而卷,平均分配232次方的区间的范围空间

  

企业常用GFS分布式存储系统

  
 <代码>
  通过哈希算法去找到对应的砖节点的存储空间,去分配数据存储,去调用每一个节点数据 
  

clusterfs的卷类型

  
 <代码>分布式卷
  复制卷
  分布式条带卷
  分布式复制卷
  条带复制卷
  分布式条带复制卷 
  

分布式卷

  
 <代码>没有对文件进行分块处理
  通过扩展文件属性保存哈希值
  支持的底层文件系统有ext3, ext4, ZFS, XFS等
  * *分布式卷具有如下特点* *
  文件分布在不同的服务器,不具备冗余性
  更容易和廉价地扩展卷的大小
  单点故障会造成数据丢失
  依赖底层的数据保护
  我们有办法解决,因为它存的文件都是完整的,我们可以做个镜像卷,做个备份 
  

条带卷

  
 <代码>根据偏移量将文件分成N块(N个条带节点),轮询的存储在每个Brickserver节点
  存储大文件时,性能尤为突出,不具备冗余性,类似Raid0
  * * * *特点
  数据被分割成更小块分布到块服务器群中的不同条带区
  分布减少负载且更小的文件加速了存取的速度
  没有数据冗余代码 
  

复制卷

  
 <代码>同一个文件保存一份或多分副本
  复制模式因为保存副本,所以磁盘利用率较低
  多个节点的存储空间不一致,那么将按照木桶效应取最低节点的容量作为该卷的总容量
  * * * *特点
  卷中所有的服务器均保存一个完整的副本
  卷的副本数量可以有客户创建的时候决定
  至少由两个块服务器或更多服务器
  具备冗余性 
  

分布式条带卷

  
 <代码>兼顾分布式卷和条带卷的功能
  主要用于大文件访问处理
  至少最少需要4台服务器 
  

分布式复制卷

  
 <代码>兼顾分布式卷和复制卷的共呢
  用于需要冗余的情况下
  ···
  
  # # GFS分布式文件系统集群项目
  # #群集环境
  ![在这里插入图片描述](https://img-blog.csdnimg.cn/20191218153045975.png?x-oss-process=image/watermark, type_ZmFuZ3poZW5naGVpdGk、shadow_10 text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1BhcmhvaWE=size_16, color_FFFFFF, t_70)
  # #卷类型
  |卷名称|卷类型|空间大小| |
  | - - - | - - - | - | - |
  40 g | dis-volume |分布式卷| | node1 (/b1), node2 (/b1) |
  40 g | stripe-volume |条带卷| | node1 (/c1), node2 (/c1) |
  | rep-volume |复制卷| | node3 (/b1) 20克、node4 (/b1) |
  | dis-stripe |分布式条带卷40 g | | node1 (d1) node2 (d1) node3 (d1) node4 (/d1) |
  | dis-rep |分布式复制卷| | node1 (/e1) 20克、node2 (/e1), node3 (/e1), node4 (/e1) |
  # #实验准备
  # # # # 1,为四台服务器服务器每台添加4个磁盘
  ![在这里插入图片描述](https://img-blog.csdnimg.cn/2019121816001274.png?x-oss-process=image/watermark, type_ZmFuZ3poZW5naGVpdGk、shadow_10 text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1BhcmhvaWE=size_16, color_FFFFFF, t_70)
  # # # # 2,修改服务器的名称
  分别修改为node1、node2 node3 node4
  
  ”“sql
  (root@localhost ~) # hostnamectl set-hostname node1
  苏[root@localhost ~] # 

企业常用GFS分布式存储系统