SandStone MOS 分布式对象存储技术白皮书V20.docx
- 文档编号:28488957
- 上传时间:2023-07-15
- 格式:DOCX
- 页数:42
- 大小:907.55KB
SandStone MOS 分布式对象存储技术白皮书V20.docx
《SandStone MOS 分布式对象存储技术白皮书V20.docx》由会员分享,可在线阅读,更多相关《SandStone MOS 分布式对象存储技术白皮书V20.docx(42页珍藏版)》请在冰豆网上搜索。
SandStoneMOS分布式对象存储技术白皮书V20
前言
读者对象
本文档主要介绍SandStoneMOS的产品技术知识,从产品功能、应用场景、技术规格、技术价值等多方面进行介绍,便于读者全面了解产品。
本文档主要适用于以下工程师:
●最终用户
●售前工程师
●技术支持工程师
1概述
SandStoneMOS是深圳市杉岩数据推出的一款分布式对象存储产品,该产品利用软件将多台X86服务器,通过先进的DHT技术构建为统一的分布式对象存储池,并利用副本和纠删码(ErasureCode)技术实现数据的高可靠性和高可用性,并支持跨地域的多站点容灾、总部/分支机构站点数据汇聚分发,以及混合云数据流动的能力。
SandStoneMOS完全兼容亚马逊S3接口,实现文件的HTTP/HTTPS形式访问,也可以利用不同语言的SDK简化S3接口的访问。
同时支持NFS、CIFS、FTP等传统文件访问接口,并能够与S3接口互通。
SandStoneMOS通过小文件合并技术及智能元数据缓存技术,实现了单存储集群可管理百亿级别文件数量及EB级数据容量,具体应用场景包括:
银行影像平台、保险核心影像、档案系统、智能安防图片、电子保单、物流电子快递单管理、客服中心语音系统、金融双录数据、医疗影像系统、电子政务系统、大数据分析平台、运营商用户日志分析、智能制造、视频监控等。
2系统架构
2.1产品逻辑架构
SandstoneMOS产品可以为生产的业务系统、数据管理系统、数据分析系统提供统一的非结构化存储和管理平台;业务系统通过S3/FTP/文件协议直接进行文件的读写访问,并通过对象的TAG功能,给对象设置属性。
数据管理系统则可通过文件的标签、内容进行文件的检索,满足数据管理需要。
同时SandstoneMOS还支持Hadoop、Spark等大数据分析系统,满足数据的分析需求。
SandStoneMOS分布式软件运行在通用X86服务器上,最小规模1台起步,最大可扩展到4096台服务器(但不支持2台)。
SandStoneMOS可支持不同配置硬件的存储域,并能够根据策略或者按照数据的访问频度在不同存储域之间流动,在数据的访问性能和存储成本之间实现平衡。
SandStoneMOS是对称式的架构设计,所以SandStoneMOS软件在每个物理节点上均会安装部署,并对外呈现为一个统一的集群。
2.2产品硬件结构
SandStoneMOS分布式对象存储系统是全对称架构,对相同类型的节点而言,节点内部的软硬件配置完全对等,这样的设计使得用户首次购买或者扩容时,不需要考虑独立元数据服务器或独立网管服务器等问题,只需根据实际需求计算出需要的节点数即可(最小1台起配,最大支持4096台,但不支持2台)。
SandStoneMOS系统由交换设备和通用服务器硬件节点组成,不需要额外的设备。
产品结构如下图所示。
2.3软件部署架构
SandStoneMOS的软件部署架构如下图所示。
SandStoneMOS架构是去中心化的架构,无独立的元数据或者管理节点,所以在每个服务器上部署相同的软件功能模块是相同的。
只是在运行时,集群管理、操作管理、管理系统数据库等管理模块存在主备关系,当主所在服务器故障时自动切换。
其他业务模块则都处于激活状态,并且任何一个节点故障都不会影响存储的读写访问。
2.4存储硬盘
SandStoneMOS对象存储系统可以使用SATA和SAS接口的机械硬盘和固态盘作为数据主存储,并在节点中配置了SSD固态硬盘用来提升数据读取、系统元数据访问和小文件访问的性能。
2.5网络架构
SandStoneMOS对外提供标准S3/FTP/NFS/CIFS接口,内部有节点之间内部通信链路用于数据复制和迁移。
为避免网络性能干扰,将网络划分成三个平面:
管理平面:
用于存储服务器的管理,以及连接SandStoneMOS的Web管理系统;
存储服务平面:
与应用程序通信网络,用于传输S3/FTP/NFS请求和应答;该平面需要配置一个可与应用主机通信的IP地址,在安装时配置,后续有需要也可以修改;
内网平面:
内部节点之间的通信网络,用于内部的数据复制,迁移等;该网络平面要求所有SandStoneMOS物理服务器均可互通,但无需与外部系统互通(建议不互通);该平面使用内网IP(默认为172.26.0.0/16网段,也可安装时进行配置);
存储服务平面与内网平面可以共用相同的网卡,但网卡必须做绑定。
管理平面建议独立,为此SandStoneMOS要求服务器至少提供4个以太网网口,其中两个为万兆网络,作为存储/内网网络,两个为千兆网络,作为管理网络。
为了获得更好的性能,建议交换机为3层网络交换机,以支持网络聚合功能。
对于存储安全要求比较高的场景,建议将内网划成一个独立的VLAN,甚至使用一个独立的交换机,来减少网络安全风险。
2.6运维管理系统
SandStoneMOS对象存储面向运维,运营,审计,业务等IT角色提供丰富的企业级特性,提供简单、易用,内容丰富的图形化管理界面,包括仪表盘、硬件监控、多数据中心管理、性能指标统计、软硬件告警及展示等功能特性,支持一键升级、扩容、配置等变更操作功能特性。
对运营、业务、审计方提供面向角色的业务访问精细统计报表,运营数据等。
3数据存储技术
3.1DHT分布式哈希算法
3.1.1技术背景
传统文件系统存储采用B/B+树索引方式,对文件的进行管理,以加速文件的查找访问。
由于是采用查找法进行数据的访问,当文件个数越多,则查找的性能就越慢,到达一定规模时,查找的时间就无法满足业务的实时性要求。
而且根据传统存储的实现方式,一般索引树会尽量优先放置在高速缓存中,当索引的数据超过高速缓存后,访问的效率问题会变得更加严重。
为了解决海量小文件的访问效率问题,SandStoneMOS采用了业界先进的DHT(动态哈希表)技术,该技术的特点是利用一次哈希计算来定位文件,算法的复杂度为O
(1),所以无论存储中已经存储来海量文件,定位文件的时间永远的固定的,从而大大优化了海量文件的访问性能。
3.1.2技术原理
SandStoneMOS采用去中心化方式实现数据存储的管理。
首先DHT分布式哈希算法建立一个虚拟的分布式哈希环,均匀的将整个哈希空间且分成数千等分,然后将哈希的每一个分区均匀的映射到集群的所有磁盘上,确保每一个磁盘所负责的哈希分片数量是一致的。
当对象读取时,首先会将文件按照切片规则(默认4MB)大小生成每个切片的文件名列表(一般是Bucket+文件名+分片编号),然后将文件分片名通过哈希计算,生成一个哈希后的数值。
在利用哈希值在DHT表中进行查找,从而定位到该分片的磁盘位置获取文件分片的内容。
通过组合每个分片,形成整个文件的最终内容。
从文件的定位过程可以发现,哈希计算和DHT表的查找时间是恒定不变的,不会因为文件数量的增加,而影响效率,从而保证了在海量文件数量的情况下访问的性能。
3.1.3技术特点
通过DHT分布式哈希算法,SandStoneMOS分布式存储管理者可以通过配置信息指定集群数据分布方式,可以按机架级别和服务器级别。
例如服务器级别下,数据默认2副本时,通过DHT将数据的主从副本分别存放在不同服务器的硬盘上,也就意味着当有一台服务器起不来时,数据能够不丢失。
使用DHT存储对象,数据分布非常均衡,充分利用了磁盘的容量和性能。
因此读取和写入都更加高效。
抗故障性高,由于非中心化设计,不存在特定服务器异常就导致业务暂停。
伸缩性好,在扩容或故障时,DHT会自动均衡变化的存储资源,尽量少的重构数据以保证业务性能。
3.1.4客户价值
高效的数据分布计算和均衡服务器存储资源分布,能提高存储性能和可用性。
百亿级数量文件可实现毫秒级访问,实测三台服务器,30亿文件存量,读写访问时延低于50ms。
支持机架级别和服务器级别的数据配置方式,在各类服务器集群部署下均能保证数据可靠性。
易于服务器集群扩容或缩容,方便存储资源合理变更。
3.2智能缓存技术
3.2.1技术背景
随着存储介质的发展,高性能介质越来越多地被应用于存储系统中,闪存盘与机械硬盘组成的混合存储系统是业界主流的高性价比存储方案,SandStoneMOS对象存储系统很好地利用了不同存储介质的特点,提升了整体存储系统的性价比。
在传统存储系统中,最常见的使用闪存加速数据读写的方式为通过系统中的缓存模块自动判断业务数据的冷热程度,将热点数据放在闪存盘层,非经常访问的冷数据放在硬盘中,同时通过一定的缓存算法,完成闪存中的冷数据淘汰与硬盘中的热数据提升。
SandStoneMOS中的智能缓存技术,不仅能够自动预测数据冷热,将合适的数据放到不同的分层,还可以智能感知业务,根据预设的业务优先级,将优先级高的业务数据常期驻留在闪存盘中,优先级低的数据驻留在硬盘中,预留出宝贵的缓存资源。
同时还具有大块顺序数据透过闪存层等功能,充分发挥机械硬盘的性能优点。
3.2.2技术原理
缓存管理
SandStoneMOS的每个存储节点上配置少量闪存盘,一块闪存盘与多块硬盘组成绑定关系,每块闪存盘可给多块HDD做缓存加速。
一般情况下,建议每个存储节点至少配置两块或以上闪存盘。
图1闪存加速示意图
元数据优先缓存
虽然DHT通过计算避免了服务器和磁盘层面的元数据,但在磁盘内部,还需要元数据定位在磁盘的具体位置,而杉岩的缓存能够精确的理解哪些是数据,哪些是元数据,并且最大粒度缓存元数据,来优化磁盘层面的元数据访问性能。
缓存与读取
当客户端的数据读请求到达存储节点上的具体的硬盘数据服务层时,硬盘数据服务层首先会检查所读数据是否在与其对应的闪存盘中,如果在则缓存命中,直接返回给上层,如果不在,则直接从硬盘上读取数据后再返回给客户端。
缓存与写入
当客户端的数据写请求到达存储节点上的具体的硬盘数据服务层时,硬盘数据服务层首先检查该硬盘对应的闪存中是否有足够的空间写入新的数据,如果有,则写到闪存后直接返回给上层,如果没有,则直接写入后端硬盘,并驱逐闪存盘中原有的硬盘相同物理位置上的数据。
缓存资源回收
●数据刷盘
新写入闪存的数据,会被智能缓存模块刷到后端硬盘上去,这个过程称为刷盘。
刷到硬盘之后,原来驻留在闪存中的数据仍可以提供读命中,不会立即失效。
除非智能缓存模块判定其为不经常被访问的冷数据,才会被回收。
●数据老化
当闪存中的数据达到老化阈值时,会按照LRU来回收最长时间未被访问的缓存数据,以便预留出足够的缓存空间给新来的业务数据。
3.2.3技术特点
多级缓存加速
SandStoneMOS的智能缓存模块采用两级缓存技术,第一级缓存为内存缓存,缓存更为频繁访问的数据,加速数据的读取,第二级为闪存缓存,可同时加速数据读写,由于闪存盘的保电特性,当新写入的数据到达每个存储节点时,数据写到闪存盘后,便可立即返回客户端写操作成功。
数据进入闪存盘就表示数据已经安全,因此不需要立即刷到对应的硬盘中,存储系统会以异步模式将闪存盘中的数据进行去重和合并处理后刷到后端的硬盘中,即如果对一个数据进行多次修改,则只需将最新修改的数据刷到硬盘中,如果多个数据块是属于一个对象并且在逻辑上是连续的,则可以将这些逻辑上连续的数据写入到物理连续的硬盘上,这样数据被访问时即使未命中缓存,也会因为其在硬盘上的顺序性和连续性而提高数据的访问性能。
数据类型感知
SandStoneMOS的智能缓存模块可自动识别存储系统不同类型的数据,针对不同的数据类型自动采用不同的加速策略,优化缓存资源利用率与业务IO性能。
对于系统元数据、高优先级的数据(如设置了高优先级的桶数据),智能缓存模块不会将其淘汰出闪存,保证IO路径上的元数据访问性能以及较为繁忙业务的数据访问性能。
对于恢复过程产生的数据流量,智能缓存模块同样可以自动识别,这部分数据会透过缓存模块,直接写入硬盘,保证集群不会因为一时的恢复导致缓存资源被临时占用。
图2数据感知的智能缓存
大块数据透传
SandStoneMOS的智能缓存模块可根据预设的数据块大小缓存策略来按业务写请求的大小进行是否缓存的决策。
默认情况下,当数据块大小大于256KB,并且此次写请求与上次写请求的逻辑地址连续时,即使闪存中有空间也不会写入闪存,而是直接写入硬盘,充分发挥机械硬盘的顺序数据访问性能。
3.2.4客户价值
多级缓存技术有效的利用了各种存储介质的特点,加速数据的访问性能。
数据类型感知技术,可识别集群不同的数据类型,根据不同类型自动采取不同的缓存资源回收策略,既保证了关键业务性能,又有效地提高了缓存利用率。
3.3多故障域技术
3.3.1技术背景
在传统存储及部分分布式存储中,往往许多应用会同时使用同一套存储系统,在存储系统出现故障或数据恢复时,往往使用这套存储的所有应用系统都会受到影响。
若需要实现应用系统之间的故障隔离,则需要额外一套存储系统提供给部分应用系统使用,使得某一套存储出现故障时,另一套存储上的应用不会受到影响,但两套存储系统的存在又增加了运维复杂度。
杉岩海量对象存储系统,能够在同一套存储系统中,划分多个故障域,通过存储策略的控制,将应用业务分布到不同的故障域中,实现故障隔离,控制故障的影响范围。
3.3.2技术原理
集群拓扑
集群拓扑是多故障域技术的关键内容。
集群拓扑在逻辑上维护了一份集群节点的分布拓扑图,其中包含了数据中心、机房、机架、服务器节点等从大到小的逻辑实体,通过树状图的方式逐层放置,从而描述出从机房到服务器节点的分布关系。
其中,每一个树状图都有一个“根”,同时集群拓扑允许多个“根”的存在。
图3集群拓扑示意图
数据分布规则
在维护了集群拓扑之后,通过制定数据的分布规则来实现多故障域技术。
其中,数据分布规则有以下原则:
1、同一份数据只能存放在一个树状拓扑下,即数据只能在某个“根”内分布,数据的恢复、均衡等操作,也都限制在这个树状拓扑之内;
2、数据的分布存在安全级别,一份数据的多个副本不能放置在这个安全级别的同一逻辑实体上。
例如,我们选择限定了某个存储池的安全级别为“机架”级别,则往这个存储池存放数据时,同一份数据的不同副本不能放置在同一个机架内的服务器上,必须跨机架分布。
其中,原则1是多故障域技术的实现原则。
多故障域技术,通过创建多个逻辑拓扑树状图,即创建多个“根”,任何的节点故障、数据恢复都在某个树状拓扑的范围内产生影响,而不会影响到其他树状拓扑,从而实现故障隔离。
3.3.3技术特点
无感知扩容
在分布式架构中,节点的扩容往往意味着集群拓扑图的改变,也伴随着数据的重分布,重分布过程中,也会对集群性能产生影响。
利用多故障域技术,能够将新扩容的节点独立成一个故障域,从而避免了数据的搬迁,大大降低了对业务的影响。
存储策略
杉岩海量对象存储中的存储策略,能够与桶进行绑定,从而决定桶内数据的分布在哪个故障域的数据存储池中。
同时,存储策略中的数据存储池能够进行修改,在新建故障域后,将存储策略指向新故障域中的数据存储池,则用户往相关的桶写入数据时,数据会写入到新的故障域中,同时又能够从老的故障域中读取数据,在无需数据搬迁的情况下实现扩容,并且整个过程对用户透明。
另外,生命周期转移技术也会用到存储策略,生命周期转移技术能够将某个故障域内的数据自动转移到另一个故障域中,实现数据的分层存储。
该部分内容将在生命周期技术章节详细说明。
3.3.4客户价值
多故障域技术,通过对故障进行隔离,将故障对业务的影响限制在了某个范围内,避免了“牵一发而动全身”的情况发生,提高了业务连续性。
基于多故障域的扩容,配合存储策略,能够在业务无感知的情况下,实现业务的无感知扩容,向应用屏蔽了底层存储的变更细节,避免了传统存储变更时,需要业务系统同时变更情况,大大减少了运维人员及业务人员的工作。
3.4负载均衡及高可用技术
3.4.1技术背景
杉岩海量对象存储系统是一套分布式存储系统,由多个服务器节点组成,存储集群中每个存储节点都能够对外提供存储服务。
负载均衡及高可用技术,能够在现有的网络结构上扩展网络设备及服务器的带宽,增加吞吐量及网络处理能力,并提供访问入口高可用,保障系统的可靠性及业务的连续性。
3.4.2技术原理
杉岩海量对象存储系统中,采用浮动IP+负载均衡器的方式实现服务的负载均衡及高可用。
浮动IP
集群的浮动IP使用Keepalived高可用集群进行管理,keepalived使用多主模式进行部署,每个keepalived节点绑定一个浮动IP,由keepalived来保证浮动IP的可用性。
在某个keepalived节点出现故障时,keepalived集群会自动将对应的浮动IP迁移到其他keepalived节点,从而保证浮动IP的可靠性。
负载均衡
负载均衡器基于LVS(Linuxvirtualserver)模块实现。
LVS技术实际上是一种基于代理服务器的负载均衡技术,请求通过代理服务器转发给后端的内部服务器处理请求,从而提高处理能力。
图4负载均衡及高可用示意图
3.4.3技术特点
高效负载均衡
LVS的负载均衡器运行在七层网络架构的会话层进行转发,相比其他开源的负载均衡器有更高的转发效率及转发性能。
兼容多种网络环境
所采用的负载均衡及高可用方案能够在VLAN及VXLAN等多种网络环境下稳定、高性能工作,具备较好的兼容性。
快速故障切换
在节点故障的场景下,故障切换的时间能够保证在10s内完成,大大提高业务连续性。
3.4.4客户价值
SandStoneMOS对象存储系统提供的负载均衡及高可用方案,具备高性能、高可靠性等优点,能够在实际生产使用时发挥出存储集群的整体性能;快速的故障切换能够大大缩短节点故障所带来的切换时间,保障业务连续性。
3.5恢复QoS技术
3.5.1技术背景
分布式存储系统在出现故障并恢复后,第一时间就是重构数据,以保证故障期间影响的数据还原到本应正常的状态,这个过程称为数据恢复。
但是数据恢复根据数据量和存储方式的不同,可能会消耗大量存储服务器的软硬件资源,导致正常业务受影响。
即使各计算节点并行恢复数据,在数据量较大或者计算耗时大时,仍然会对业务产生较大影响。
此外集群的扩容和减容同样涉及数据重构。
3.5.2技术原理
SandStoneMOS使用QoS技术(QualityofService)限制数据恢复的速率,防止恢复流程占用过多系统资源造成业务受影响。
系统通过系统内部流量状态感知前端业务是否繁忙,如果业务繁忙,则会将存储资源优先分配给业务。
如果前端业务空闲,则会将存储资源优先分配给数据重构。
此外提供用户级别的配置使管理员能更灵活的管理集群状态。
3.5.3技术特点
SandStoneMOS恢复QoS技术支持配置数据恢复策略:
业务优先、恢复优先、自适应。
按照不同策略进行数据恢复,可以满足不同场景需求。
当前端业务持续进行,数据恢复可以慢慢恢复时,业务优先可以保证前端业务几乎不受影响,因为后端会将业务请求按最高优先级处理,不会让恢复流程抢占计算资源。
当前端业务不紧急或者处于空闲时段时,可以选择恢复优先,将计算资源优先提供给恢复流程,以尽快将所有数据恢复到默认的安全水平。
自适应可以根据业务和恢复的实际情况保证两者均有合适的运行速率。
3.5.4客户价值
SandStoneMOS恢复QoS技术可以最大化满足业务上性能和可靠性的要求。
通常情况下故障短时间连续出现的概率是比较小的,如果出现故障后开始数据恢复,理论上有充足的时间进行数据恢复。
因此保证业务持续不受影响显得更加重要,恢复QoS技术正好可以实现此场景下的需要。
此外由于SandStoneMOS分布式集群分布式算法下,也不用担心频繁的故障导致数据无法恢复。
4数据保护技术
4.1副本冗余技术
4.1.1技术背景
当今大部分存储系统中,首要的的稳定存储介质就是硬盘,数据先写入存储系统的硬盘中,后续有需要再备份到其他类型的稳定存储介质(如磁带)。
一套存储系统中硬盘的增多除了带来容量和性能的提升外,也增大了硬盘故障的发生概率。
人们首先想到的就是能不能将数据复制成多份,放在不同的硬盘上,这就是副本冗余技术,这是最简单直观的数据可靠性技术。
4.1.2技术原理
SandStoneMOS数据冗余存储基于DHT分布式哈希算法。
在副本冗余策略下,各副本数据最终写入不同的硬盘。
而且DHT算法可以保证各个硬盘的容量使用均衡。
副本策略可以按服务器或机架级感知,应用层不感知副本存在什么硬盘上。
例如客户端写入一个对象,此对象按2副本写入。
默认服务器级时,两个硬盘属于两个不同的服务器节点。
此时即使一台服务器硬盘顺坏,数据也不会丢失。
当某个节点恢复时超过一定时间(可配置),该故障节点依然无法恢复时,系统将会自动启动数据自愈,即利用现有的副本恢复出原有数据,保证数据的可靠性。
4.1.3技术特点
SandStoneMOS副本冗余技术具有以下特点:
可靠性高:
数据副本跨硬盘或机架,只要不是全部副本损坏,数据都不会丢失。
可配置性好:
副本策略可以按服务器或机架级感知配置,副本可以选择2-3,便于空间上的管理;
服务器间容量均衡:
使用DHT算法可以保证各硬盘使用率分布均衡,避免单个硬盘写满而影响整个业务。
故障恢复:
自动恢复数据效率高,保证数据可靠性恢复到设置的副本状态。
4.1.4客户价值
SandStoneMOS副本冗余技术能满足通常业务可靠性需求,只要副本内有一个硬盘上的数据没有损坏,数据就不会丢失。
不同机架部署服务器基本可以保证整个存储系统的数据稳定和可靠。
在不同容量使用场景下,配置不同的副本策略以满足不同需求。
3副本可以极大的提高数据可靠性。
相对之下2副本在提供数据高可靠的同时,能增大硬盘利用率。
在容量充裕时使用副本冗余可以节省服务器处理器性能,并提高数据恢复效率。
灵活的故障恢复机制可以保证故障期间的数据自动扩展到期望的副本状态,保证所有数据均是同样的安全系数。
4.2纠删码冗余技术
4.2.1技术背景
副本冗余技术下,硬盘使用率不高,除了简单的副本外,企业开始尝试将纠删码技术应用于数据存储中。
纠删码(ErasureCoding,EC)最早是通信过程中的编码校验容错技术,其基本原理就是把传输的信号分段,加入一定的校验再让各段间发生相互关联,即使在传输过程中丢失部分信号,接收端仍然能通过算法将完整的信息计算出来。
人们自然也想到使用纠删码来增加存储系统中数据的可靠性。
4.2.2技术原理
SandStoneMOS将纠删码技术应用到数据冗余处理中。
写入的对象被拆分为K个数据块,然后编码生成M个校验块,总共K+M份数据通过DHT算法分别存入不同硬盘中。
当系统出现故障,丢失了某些块时,只要这个对象丢失的块数目不超过M,就可通过数据恢复算法,将丢失的数据块从剩余的块中计算出来。
在这种方式下,空间的利用率约为K/(K+M),数据的可靠性由M值的大小决定,M越大可靠性越高。
例如3+2EC配置下一个对象写入时,对象会生成5个块,每个块均存入不同的硬盘,如下图所示:
如果读取数据时disk2和disk4异常无法返回数据,则可以通过其他硬盘数据计算出完整的对象数据。
如果写K+M的块时,有超过M个写入失败,SandStoneMOS纠删码会将对象还原到上一个完整版本中,以保证数据的一致性。
同副本机制类似,当某个节点恢复时超过一定时间(可配置),该故障节点依然无法恢复时,系统将会自动启动数据自愈,即利用现有的数据和EC校验块恢复出原有数据,保证数据的可靠性。
4.2.3技术特点
SandStoneMOS提供了灵活的EC配置方式以满足不同应用场景。
硬盘
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- SandStone MOS 分布式对象存储技术白皮书V20 分布式 对象 存储 技术 白皮书 V20
![提示](https://static.bdocx.com/images/bang_tan.gif)