MFS分布式文件系统搭建与监控详解

  

<强>

官网地址:http://www.moosefs.com/

MooseFS是一个具有容错性的网络分布式文件系统。

它把数据分散存放在多个物理服务器上,而呈现给用户的则是一个统一的资源。通用文件系统,不需要修改上层应用就可以使用,通过附加新的计算机或者硬盘可以实现容量的动态扩展,体系架构可伸缩性极强,删除的文件可以根据配置的时间周期进行保留(一个文件系统级别的回收站),高可靠(数据的多个拷贝被存储在不同的计算机上),提供   网监控接口,提高随机读或写的效率,提高海量小文件的读写效率。但是mfs把文件系统的结构缓存到主人的内存中,文件越多,主人   的内存消耗越大8 g对应2500 w的文件数,2个亿文件就得64 gb内存。支持特殊文件(块和字符设备,管道以及套接字),符号连接和硬连接。

<强> 包括以下四种角色:


<>强角色 <强>作用强管理服务器管理服务器(主)负责各个数据存储服务器的管理,文件读写调度,文件空间回收以及恢复。多节点拷贝元数据日志服务器Metalogger服务器(Metalogger)负责备份硕士服务器的变化日志文件,文件类型为changelog_ml。* .mfs,以便于在   主服务器出问题的时候接替其进行工作数据存储服务器数据服务器(块服务器)听从管理服务器调度,提供存储空间,并为客户提供数据传输. .   真正存储用户数据的服务器。存储文件时,首先把文件分成块,然后这些块在数据服务器chunkserver之间复制(复制份数可以手工指定,建议设置副本数为   3)。数据服务器可以是多个,并且数量越多,可使用的“磁盘空间“越大,可靠性也越高。客户机挂载使用客户端电脑挂载进程mfs服务器共享出的存储并使用。通过保险丝   内核接口挂载进程管理服务器上所管理的数据存储服务器共享出的硬盘。共享的文件系统的用法和nfs相似,使用MFS文件系统来存储和访问的主机称为MFS   的客户端,成功挂接MFS文件系统以后,就可以像以前使用NFS一样共享这个虚拟性的存储了。


<强>

<>强基本环境表

主机操作系统IP地址主要软件大师ServerCentos7.3192.168.137.10moosefs.x86_64.0.3.0.101-1Metalogger ServerCentos7.3192.168.137.11moosefs.x86_64.0.3.0.101-1Chunk server1Centos7.3192.168.137.12moosefs.x86_64.0.3.0.101-1Chunk server2Centos7.3192.168.137.13moosefs.x86_64.0.3.0.101-1ClientCentos7.3192.168.137.14moosefs.x86_64.0.3.0.101-1

,

<>强拓扑图

 MFS分布式文件系统搭建与监控详解

<强>

<李>

五台虚拟机模拟搭建MFS文件系统

<李>

关闭防火墙及selinux

systemctl停止firewalld
setenforce 0

,

<强>搭建主服务器

安装软件

旋度“https://ppa.moosefs.com/RPM-GPG-KEY-MooseFS"比;/etc/pki/rpm-gpg/RPM-GPG-KEY-MooseFS//添加键值
旋度   “http://ppa.moosefs.com/MooseFS-3-el7.repo"比;/etc/yum.repos.d/MooseFS.repo //添加适当的库条目
yum安装moosefs-master moosefs-cgi moosefs-cgiserv moosefs-cli   - y

配置文件解释

cd/etc/mfs/

-rw-r——r。1根根4057年9月,27日15:18 mfsexports.cfg ,,,,,,//输出目录配置文件
-rw-r——r。1根根4057年7月,20日19:16   mfsexports.cfg.sample
-rw-r——r。1根根9015年9月,27日15:18   mfsmaster.cfg ,,,,,,,//主配置文件
-rw-r——r。1根根9015年7月,20日19:16   mfsmaster.cfg.sample
-rw-r——r。1根根1052年9月,27日15:18   mfstopology.cfg ,,,,//元数据日志
-rw-r——r。1根根1052年7月,20日19:16   mfstopology.cfg。示例

启动服务

systemctl开始moosefs-master
systemctl启用moosefs-master
netstat   -ntap | grep mfs

tcp ,,,,,,0,,,,,0 0.0.0.0:9419 ,,,,,,,,,,0.0.0.0:*,,,,,,,,,,,,,,   LISTEN ,,,,6217/mfsmaster ,,,,
tcp ,,,,,,0,,,,,0 0.0.0.0:9420 ,,,,,,,,,,   0.0.0.0:*,,,,,,,,,,,,,,LISTEN ,,,,6217/mfsmaster ,,,,
tcp ,,,,,,0,,,,,0   0.0.0.0:9421 ,,,,,,,,,,0.0.0.0:*,,,,,,,,,,,,,,LISTEN ,,,,6217/mfsmaster ,,,

,

<强>搭建MetalLogger服务器

安装

旋度“https://ppa.moosefs.com/RPM-GPG-KEY-MooseFS"比;/etc/pki/rpm-gpg/RPM-GPG-KEY-MooseFS//添加键值
旋度   “http://ppa.moosefs.com/MooseFS-3-el7.repo"比;/etc/yum.repos.d/MooseFS.repo //添加适当的库条目

MFS分布式文件系统搭建与监控详解