分布式存储MFS安装部署技术白皮书讲解.docx
- 文档编号:30491118
- 上传时间:2023-08-15
- 格式:DOCX
- 页数:13
- 大小:395.31KB
分布式存储MFS安装部署技术白皮书讲解.docx
《分布式存储MFS安装部署技术白皮书讲解.docx》由会员分享,可在线阅读,更多相关《分布式存储MFS安装部署技术白皮书讲解.docx(13页珍藏版)》请在冰豆网上搜索。
分布式存储MFS安装部署技术白皮书讲解
分布式存储MFS安装部署技术白皮书
云计算部
2014年3月
一、平台搭建
1.平台规划
IP
作用
备注
192.168.182.201
masterserver
mfs管理节点
192.168.182.202
chunkserver,Metaloggerserver
mfs存储节点,mfs元数据日志服务节点
192.168.182.203
chunkserver,mfsclient,vsftp,samba
mfs存储节点,mfs客户端,ftp服务端,samba共享
192.168.182.204
mfsclient,owncloud
mfs客户端,云盘系统服务端
一台mfs管理节点,2台mfs存储节点分别挂载1T存储,其中1台上搭建元数据日志服务节点,另一台安装mfs客户端与搭建ftp和samba共享链接,最后一台服务器安装mfs客户端,用于链接云盘系统服务端。
2.拓扑结构
二、MFS系统安装部署
1.MFS概述
1)MFS特点
1)高可靠性(数据库可以镜像到多个计算机)
2)轻松动态扩容
3)可以设置删除文件的空间回收时间
4)优越的性能
2)MFS工作原理和设计架构
角色
角色作用
管理服务器
managingserver(master)
负责各个数据存储服务器的管理,文件读写调度,文件空间回收以及恢复,多节点拷贝。
元数据日志服务器
Metaloggerserver(Metalogger)
负责备份master服务器的变化日志文件,文件类型为changelog_ml.*.mfs,以便于在masterserver出问题的时候接替其进行工作。
数据存储服务器
dataservers(chunkservers)
负责连接管理服务器,听从管理服务器调度,提供存储空间,并为客户提供数据传输。
客户机挂载使用
clientcomputers
通过fuse内核接口挂接远程管理服务器上所管理的数据存储服务器,.看起来共享的文件系统和本地unix文件系统使用一样的效果.
官方的网络示意图是这样的:
3)MFS读处理过程:
1、客户端向管理服务器(master)发出读请求。
2、管理服务器(master)把所需数据存放的位置(ChunkServer的IP地址和chunk编号)告知客户端。
3、客户端向已知的数据存储服务器(ChunkServer)请求发送数据。
4、数据存储服务器(ChunkServer)向客户端发送数据。
特点:
数据传输并不经过元数据服务器,这样既减轻元数据服务器的压力,也同时增大了整个系统的吞吐能力。
在多个客户端读取数据时,读取点会被分散到不同的数据服务器。
4)MFS写处理过程:
1、客户端向元数据服务器发送写入请求。
2、元数据服务器与ChunkServer进行交互(只有当所需的分块Chunks存在的时候才进行这个交互):
a、元数据服务器只是在某些服务器创建新的分块chunks。
b、ChunkServers告知元数据服务器,步骤a已经操作成功。
3、元数据服务器告知客户端,你可以在哪个ChunkServer的哪些Chunks写入数据。
4、客户端向指定的ChunkServer写入数据
5、ChunkServer与其他ChunkServer进行数据同步。
6、ChunkServer之间同步成功。
7、ChunkServer告知客户端数据写入成功。
8、客户端告知元数据服务器本次写入完毕。
2.MFS安装部署
1)MasterServer安装
Ø下载解压
#cd/usr/src
#wget
#tarxzfmfs-1.6.26.tar.gz
Ø配置编译参数
#useraddmfs–s/sbin/nologin
#groupaddmfs
#useradd-gmfsmfs
#cdmfs-1.6.26/
#./configure--prefix=/usr/local/mfs--with-default-user=mfs--with-default-group=mfs--disable-mfsmount--disable-mfschunkserver
Ø编译并安装
#make
#makeinstall
Ø配置文件
#cd/usr/local/mfs/etc
#cpmfsmaster.cfg.distmfsmaster.cfg
#cpmfsexports.cfg.distmfsexports.cfg
更改配置文件mfsexports.cfg
192.168.201.0/24/rw,alldirs,maproot=0
启动前准备
#cd/usr/local/mfs/var/mfs
#cpmetadata.mfs.emptymetadata.mfs
#echo"192.168.182.201mfsmaster">>/etc/hosts
Ø启动mfsmaster
#/usr/local/mfs/sbin/mfsmasterstart
ØHost文件添加
#vi/etc/hosts
加入以下几行
192.168.182.201mfsmaster
192.168.182.202mfschunk
192.168.182.203mfsclient
192.168.182.204mfsweb
Ø监控服务
#/usr/local/mfs/sbin/mfscgiserv
浏览器输入192.168.182.201:
9425
Ø服务自启动添加
#vi/etc/rc.local
添加以下两行
/usr/local/mfs/sbin/mfsmasterstart
/usr/local/mfs/sbin/mfscgiserv
2)mfsmetalogger搭建
Ø下载解压
#cd/usr/src
#wget
#tarxzfmfs-1.6.26.tar.gz
Ø配置编译参数
#useraddmfs–s/sbin/nologin
#groupaddmfs
#useradd-gmfsmfs
#cdmfs-1.6.26/
#./configure--prefix=/usr/local/mfs--with-default-user=mfs--with-default-group=mfs--disable-mfsmount--disable-mfschunkserver
Ø编译并安装
#make
#makeinstall
Ø配置文件
#cd/usr/local/mfs/etc
#cpmfsmetalogger.cfg.distmfsmetalogger.cfg
ØHost文件添加
#vi/etc/hosts
加入以下几行
192.168.182.201mfsmaster
192.168.182.202mfschunk
192.168.182.203mfsclient
192.168.182.204mfsweb
Ø启动mfsmetalogger
#/usr/local/mfs/sbin/mfsmetaloggerstart
3)Chunkservers安装
Ø下载解压
#cd/usr/src
#wget
#tarxzfmfs-1.6.26.tar.gz
Ø配置编译参数
#useraddmfs–s/sbin/nologin
#groupaddmfs
#useradd-gmfsmfs
#cdmfs-1.6.26/
#./configure--prefix=/usr/local/mfs--with-default-user=mfs--with-default-group=mfs--disable-mfsmount--disable-mfsmaster
Ø编译并安装
#make
#makeinstall
Ø配置文件
#cd/usr/local/mfs/etc
#cpmfschunkserver.cfg.distmfschunkserver.cfg
#cpmfshdd.cfg.distmfshdd.cfg
更改配置文件mfshdd.cfg,加入:
/disk
ØHost文件添加
#vi/etc/hosts
加入以下几行
192.168.182.201mfsmaster
192.168.182.202mfschunk
192.168.182.203mfsclient
192.168.182.204mfsweb
Ø启动前准备
#chown-Rmfs:
mfs/disk
7、启动chunkserver
#/usr/local/mfs/sbin/mfschunkserverstart
Ø自启动脚本添加
vi/etc/rc.local
/usr/local/mfs/sbin/mfsmetaloggerstart
/usr/local/mfs/sbin/mfschunkserverstart
4)mfsclient安装
Ø下载解压
#cd/usr/src
#wget
#tarxzfmfs-1.6.26.tar.gz
Ø安装fuse
1、解包tarzxvffuse-2.7.4.tar.gz
2、切换目录cdfuse-2.7.4.
3、配置./configure
4、编译安装make;makeinstal
Ø1、修改环境变量
文件/etc/profile,追加下面的行,然后再执行命令source/etc/profile使修改生效。
exportPKG_CONFIG_PATH=/usr/local/lib/pkgconfig:
$PKG_CONFIG_PATH
Ø配置编译参数
#groupaddmfs
#useradd-gmfsmfs
#cdmfs-1.6.26/
#./configure--prefix=/usr/local/mfs--with-default-user=mfs--with-default-group=mfs--disable-mfsmaster--disable-mfschunkserver
Ø编译并安装
#make
#makeinstall
ØHost文件添加
#vi/etc/hosts
加入以下几行
192.168.182.201mfsmaster
192.168.182.202mfschunk
192.168.182.203mfsclient
192.168.182.204mfsweb
Ø启动前准备
mkdir/mfs
Ø开始挂载
#/usr/local/mfs/bin/mfsmount/mfs-Hmfsmaster
Ø检查
df-h查看输出
3.MFS管理挂载
1)分布式MFS测试环境信息监控
通过WEBUI监控服务,访问http:
//192.168.182.201:
9425,在界面info可以查看到存储空间的全部大小,已经剩余空间大小,如下图:
在server中可以看到存储节点信息,如下图
在disks中可以查看到数据存放位置,如下图:
在exports中可以查看到允许哪些网络的客户端进行挂载,以及读写权限的情况。
在mounts中可以查看到客户端挂载情况
2)分布式MFS挂载
在linux下创建挂载点为/test,通过mfs客户端挂载程序mfsmount进行挂载,命令/usr/local/mfs/bin/mfsmount/mfs-Hmfsmaster,通过df–h查看挂载状态,
通过linux下samba共享,映射为windows网络驱动器,如下图:
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 分布式 存储 MFS 安装 部署 技术 白皮书 讲解