CEPH分布式存储部署要点.docx

CEPH分布式存储部署要点.docx

《CEPH分布式存储部署要点.docx》由会员分享，可在线阅读，更多相关《CEPH分布式存储部署要点.docx（15页珍藏版）》请在冰豆网上搜索。

CEPH分布式存储部署要点

CEPH分布式存储部署

PS：

本文的所有操作均在mon节点的主机进行，如有变动另有注释

作者：

网络技术部徐志权

日期：

2014年2月10日

VERSION1.0

更新历史：

2014.2.10:

首次完成ceph部署文档，块设备及对象存储的配置随后添加。

一、部署前网络规划

1.1环境部署

主机名

公网IP（eth0）

私网IP（eth1）

操作系统

运行服务

node1

192.168.100.101

172.16.100.101

CentOS6.5

mon、mds

node2

192.168.100.102

172.16.100.102

CentOS6.5

osd

node3

192.168.100.103

172.16.100.103

CentOS6.5

osd

◆操作系统使用CentOS6.5，因为系统已经包含xfs的支持可以直接使用不需要再次编译。

◆由于CentOS6.5系统的内核为2.6.32，因此要关闭硬盘的写入缓存，若高于此版本不需要关闭。

#hdparm-W0/dev/sdb0

◆本次部署一共有一个监控节点、一个元数据节点、两个数据节点，每个数据节点拥有两个硬盘作为数据盘。

1.2网络拓扑

1.3配置服务器、安装ceph

●添加ceph的rpm库key

#rpm--import'

#rpm--import'

●添加ceph-extras库

#vi/etc/yum.repos.d/ceph-extras

[ceph-extras]

name=CephExtrasPackages

baseurl=

enabled=1

priority=2

gpgcheck=1

type=rpm-md

gpgkey=

[ceph-extras-noarch]

name=CephExtrasnoarch

baseurl=

enabled=1

priority=2

gpgcheck=1

type=rpm-md

gpgkey=

[ceph-extras-source]

name=CephExtrasSources

baseurl=

enabled=1

priority=2

gpgcheck=1

type=rpm-md

gpgkey=

●添加ceph库

#rpm-Uvh

●添加epel库

#rpm-Uvhhttp:

//dl.fedoraproject.org/pub/epel/6/x86_64/epel-release-6-8.noarch.rpm

●安装ceph

#yumupdate-y&&yuminstallceph-y

二、部署ceph

2.1创建一个集群

创建一个集群，集群名为ceph，在mon节点，这里是主机node1，执行以下操作

2.1.1获取一个uuid

#uuidgen

2.1.2编辑配置文件

#vi/etc/ceph/ceph.conf

[global]

auth_service_required=cephx

#filestore_xattr_use_omap=true#该选项只针对ext4文件系统格式

auth_client_required=cephx

auth_cluster_required=cephx

authsupported=none

fsid=a500528d-fc02-464e-b944-bddacbb5c3d1#填入刚才获取到的uuid

publicnetwork=192.168.100.0/24

clusternetwork=172.16.100.0/24

osdpooldefaultsize=2

osdpooldefaultminsize=1

maxopenfiles=65535

monosdfullratio=.95

monosdnearfullratio=.85

[mon]

mondata=/data/$cluster-$id

[osd]

osdjournalsize=1024

osdjournal=/data/$name/journal

osddata=/data/$name

2.2创建一个mon

2.2.1编辑配置文件，添加mon参数

#vi/etc/ceph/ceph.conf

[mon.node1]

host=node1

monaddr=192.168.100.101:

6789

2.2.2创建一个monkeyring

#ceph-authtool/etc/ceph/ceph.mon.keyring--create-keyring--gen-key-nmon.

2.2.3创建mon数据目录

#mkdir-p/data/ceph-node1

#ceph-mon-inode1--mkfs--keyring/etc/ceph/ceph.mon.keyring

2.2.4启动并查看集群状态

#/etc/init.d/cephstartmon.node1

#ceph–s

出现以下提示，启动成功：

[root@node1~]#ceph-s

clustera500528d-fc02-464e-b944-bddacbb5c3d1

healthHEALTH_ERR192pgsstuckinactive;192pgsstuckunclean;noosds

monmape1:

1monsat{node1=192.168.100.101:

6789/0},electionepoch2,quorum0node1

osdmape1:

0osds:

0up,0in

pgmapv2:

192pgs,3pools,0bytesdata,0objects

0kBused,0kB/0kBavail

192creating

2.3创建一个osd

首先为节点添加一块硬盘（这里是主机node2）

PS：

硬件支持热插拔的情况下可以使用以下命令，在线检测新增硬盘

#echo"---">/sys/class/scsi_host/host2/scan

2.3.1获取osd的ID

##cephosdcreate//记录得到的编号，该编号是下面创建的osd的ID

2.3.2编辑配置文件

#vi/etc/ceph/ceph.conf

添加

[osd.0]

publicaddr=192.168.100.102

clusteraddr=172.16.100.102

2.3.3同步配置文档到节点node2

#scp-rroot@192.168.100.101:

/etc/ceph/root@192.168.100.102:

/etc/

2.3.4部署osd节点

#sshroot@192.168.100.102

#parted/dev/sdbmktablegpt

#parted/dev/sdbmkpartosd.0120g//新加的硬盘为20g，并将所有空间划分为一个分区

#mkfs-txfs/dev/sdb1

#mkdir/data/osd.0

#mount/dev/sdb1/data/osd.0

#ceph-osd-i0--mkfs--mkkey

#cephauthaddosd.0osd'allow*'mon'allowrwx'-i/data/osd.0/keyring

#cephosdcrushaddosd.00.2root=defaulthost=node2

2.3.5启动osd进程

#ceph-osd-i0

2.3.6查看进程

#ps-ef|grepceph-osd

以下提示启动成功

[root@node2~]#ps-ef|grepceph-osd

root13641008:

42?

00:

00:

07ceph-osd-i0

2.3.7查看osd状态

#exit

#cephosdstat

osd添加成功

[root@node1~]#cephosdstat

osdmape41:

1osds:

1up,1in

2.3.8开机自动启动

#vi/etc/fstab

添加

/dev/sdb1/data/osd.0xfsdefaults00

#echo"ceph-osd-i0">>/etc/rc.local

2.4创建一个mds

创建mds

#ceph-mds-inode1-nmds.node1-c/etc/ceph/ceph.conf-m192.168.100.101:

6789

检查mds状态，成功启动如下

[root@node1~]#cephmdsstat

e19:

1/1/1up{0=node1=up:

active}

三、配置ceph客户端

3.1确定操作系统内核

3.1.1查看内核版本

#uname-r

若内核版本低于2.6.32时，建议升级到2.6.34或以上

3.1.2更新内核，编译ceph模块

这里以升级到3.10.29为例

#wgethttps:

//www.kernel.org/pub/linux/kernel/v3.x/linux-3.10.29.tar.xz

#tar-Jxvflinux-3.10.29.tar.xz

#cdlinux-3.10.29

#cp/boot/config-2.6.32-431.3.1.el6.x86_64./.config//将当前系统内核的配置文件复制到kernel源文件的目录内

#makemenuconfig

依次选择下面选项，ceph必须编译为模块M

Filesystems-->NetworkFileSystems-->C