Ceph对象存储底层对象分布揭秘Word下载.docx
- 文档编号:19452520
- 上传时间:2023-01-06
- 格式:DOCX
- 页数:14
- 大小:559.93KB
Ceph对象存储底层对象分布揭秘Word下载.docx
《Ceph对象存储底层对象分布揭秘Word下载.docx》由会员分享,可在线阅读,更多相关《Ceph对象存储底层对象分布揭秘Word下载.docx(14页珍藏版)》请在冰豆网上搜索。
每个对象都有唯一的识别名称,供应用进行检索。
租户通过API管理云上数据。
目前对象存储已成为公有云服务商所具备的基本存储服务,亚马逊S3、阿里OSS、微软Bolb、华为OBS、金山KS3、腾讯COS。
Ceph则是开源生态中至今为止软件定义存储中最成功的产品,其通过RGW组件对外提供对象存储服务,本文将探讨CephRGW中数据的分布原理。
Ceph数据存储原理
Ceph的对象存储接口是由RGW组件提供的。
RGW为用户提供了一套兼容S3及Swift协议的API。
用户通过RGWAPI完成上传、下载等数据相关操作。
在RGW提供了整体上传和分段上传两种文件上传方式。
每部分RGW上传的文件片段根据配置进行切块,形成若干个Object,Object逻辑归属于某个PG中,最终Object存储在PG映射的一组OSD磁盘上,Ceph最终存储的是对象(内容+属性),通过后端存储引擎ObjectStore(src/os/ObjectStore.cc)封装了底层Rados对象操作。
无论是块存储、文件存储、还是对象存储存入Ceph的数据都以如下方式组织:
File:
client读写的文件
object:
是将File切块后的存储实体
oid:
(objectid)=ino(File的ID)+ono(切块序号)
mask:
PG总数m(m为2的整数幂)-1
PG(PlacementGroup):
放置组(标识为PGID)是一个逻辑的概念,一个PG存放多个对象,每个存储节点有上百个PG。
OSD(ObjectStorageDevice):
对象存储设备,提供存储资源。
Ceph存储引擎ObjectStore
后端存储引擎由ObjectStore提供,ObjectStoreAPI分主要为三部分:
(1)Object内容的读写操作;
(2)Object扩展属性的读写操作;
(3)Object关联的Omap的操作,Omap在概念上与扩展属性相似,但有不同的存储限制及存储方式,通常为KV数据库。
实现一套ObjectStore的接口即提供了一种存储引擎,目前常用存储引擎类型为FileStore和BlueStore。
其中使用最为广泛的CEPH后端存储引擎为FileStore。
(1)利用文件系统的POSIX接口实现Object的内容读写操作;
(2)利用文件系统的扩展属性功能实现Object的属性操作
(3)利用LevelDB、RocksDB等KV数据库实现Omap操作。
FileStore中每个Object会被看成是一个文件,Object的属性会利用文件的扩展属性存取,超出文件系统限制(filestore_max_xattr_value_size,xfs默认64KB)的扩展属性会存储在KV数据库中。
CephRGW对象存储模型
1、RGW对象整体上传
rgw_max_chunk_size:
首部对象切片大小(默认1M)
rgw_obj_stripe_size:
除首部对象外的其他切片大小(默认8M)
rgw_max_put_size:
整体上传文件限制(默认512G)
整体上传的文件,将会切分为一个大小为rgw_max_chunk_size的首部Rados对象,及若干个大小为rgw_obj_stripe_size的中间Rados对象(最后一个对象可以小于rgw_obj_stripe_size)。
其中,扩展属性存在于首部Rados对象的扩展属性中,包含了分片信息。
2、RGW对象分段上传
rgw_multipart_min_part_size:
分段最小大小(默认1M)
rgw_multipart_part_upload_limit:
最大分段数(默认10000)
分段上传,用户上传时自主对上传文件进行分段,除最后一个分段外必须大于rgw_multipart_min_part_size,每段文件独立上传,每段都可看作一个整体上传。
上传完成后,会生成一个内容为空的首部Rados对象,用于存储RGW对象的属性信,其中包含分段及分片信息。
CephRGW对象存储实践
接下来我们就进入到Ceph中一探究竟。
首先搭建一个三副本的Ceph(Luminous版)集群,部署图如上图所示。
下面我们来查看RGW对象在Ceph中是如何存储的。
1、整体上传
整体上传file10MB.dat对象分布图如上所示。
(1)整体上传文件
(2)定位首部对象
(3)定位除首部对象外的其他分片对象
我们可以看到有很多扩展属性,介绍常见的几个:
"
cephos.spill_out"
:
记录文件的扩展属性是否溢出到了Omap
“ceph._”:
对象信息
“ceph._user.rgw.acl”:
对象ACL
“ceph._user.rgw.manifest”:
对象rgw相关信息,包含分片信息。
从上面实践结果可以看到,我们手动构建的文件MD5和原文件一致。
2、分段上传
分段上传file20MB.dat对象分布图如上图所示。
(1)分段上传文件
至此,我们完成了全部实践,通过研究CephRGW及Rados存储原理,手动还原用户数据再对象存储中完整分布。
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- Ceph 对象 存储 底层 分布 揭秘