宏杉科技ICMT智能资源管理技术.docx
- 文档编号:23407653
- 上传时间:2023-05-16
- 格式:DOCX
- 页数:16
- 大小:664.54KB
宏杉科技ICMT智能资源管理技术.docx
《宏杉科技ICMT智能资源管理技术.docx》由会员分享,可在线阅读,更多相关《宏杉科技ICMT智能资源管理技术.docx(16页珍藏版)》请在冰豆网上搜索。
宏杉科技ICMT智能资源管理技术
MacroSANICMT智能资源管理技术
杭州宏杉科技有限公司
对于大型企业和机构,云计算作为最具价值潜力的IT服务模式,逐步成为其IT服务与运维的转型方向;云计算服务和运营平台也是大型企业和机构下一代数据中心的建设目标。
即便是一般规模的企业和机构,也希望利用云计算所蕴含的IT技术和方法来改造自己日益复杂和难于管理的IT系统。
不论是前者直接部署云计算IT服务模式,还是后者,利用云计算技术改造IT,其IT建设的需求本质都是一样的,都是着眼实现IT资源化,即像用水用电一样地使用IT资源。
云计算是靠IT资源化技术来支撑的;没有IT资源化技术的部署,云计算服务模式不可能有效运营;IT资源化技术不仅用于构建云计算环境,而且可解决规模和复杂度日益增加的IT系统所面临的问题。
IT资源化技术往往被称为更为时髦的云架构技术。
1.云架构技术特征
云架构技术是一类实现IT资源化的技术,其中某一项技术都只是IT资源化的一个步骤或者环节。
而且业界这类技术产品林林总总,所解决的问题和实现方式不尽相同。
即便如此,按照IT资源化的步骤,我们可以总结出云架构技术的三大特征。
虚拟化:
虚拟化是一类IT技术手段,它能将非标准化、分散的IT基础设施有机组织起来,形成一个IT资源的集合体,一个由虚拟的IT资源逻辑单元组成的集合体。
这个IT资源逻辑单元,屏蔽(封装)了IT底层的非标准化的、复杂的具体设备信息,成为一个标准的可配置的IT资源单位。
虚拟化后,一个统一的、全局性的IT资源平台呈现给用户。
动态弹性配置:
这个特性是在虚拟化之上,IT资源被划分为可配置的逻辑单元后,对于IT资源配置部署全部基于逻辑单元,而不像以往以物理设备为分配单位。
基于虚拟的逻辑单元的IT资源分配模式,可实现IT资源的动态和弹性配置,主要的功能和价值特征表现在以下方面:
第一,这些逻辑单元既可分配也可回收,可实现在统一IT基础平台上实现统一配置,在很大程度上解决了资源的共享问题,提高了资源的利用率;
第二,多类型应用和复杂需求对象的情况下,IT资源可按照服务质量分层分型,动态弹性配置可根据应用和服务对象的不同特征,实现IT资源的“按需”分配,最优化配置IT资源;
第三,IT资源可在统一基础平台弹性扩展,技术上不存在边界,只有管理上的边界。
这样能加快新业务的部署效率。
自动化:
自动化是基于虚拟化和弹性部署特征之上更高层次的IT架构特征,它利用虚拟化和动态弹性部署的相关技术,实现基于预先策略的IT资源配置管理自动化。
自动化是IT资源管理的最高境界,其价值是面对庞大的云服务对象群体,让IT资源的服务和管理变得简单,让IT资源的边际效益最大化。
2.存储资源管理面临的挑战
存储系统是IT资源的一部分,目前IT资源化的难点之一就是存储资源化。
下面,从需求和架构两个方面论述一下当前存储资源化管理的难点问题。
2.1.存储资源管理的突出需求
1.提高存储资源利用率
新应用部署导致存储资源需求猛增,绿色高效成为潮流。
固态硬盘这种高性能、低能耗但价格昂贵的存储资源逐渐被市场接受,与此同时,传统机械式低速硬盘以其单盘容量大、低功耗等特点拥有稳固的市场需求。
但现实的问题是如何最大化利用好有限的固态硬盘资源,平衡固态盘和低速盘的需求,最大化提高存储资源的效益。
总之,用户希望得到提高存储资源利用率的存储管理方案。
2.提高存储性能,并能持续提高性能
应用性能需求一般难以精确估计,用户对存储系统持续提高性能的需求是永无止境的。
从存储系统来看,提高应用性能的方法是增加对此应用的存储资源配置。
但按照以前手工增加配置的做法,往往出现调整配置后一段时间后又遇到性能瓶颈的问题。
用户更希望得到一个能持续、平滑提高性能的存储方案,又不导致增加成本。
3.存储资源配置管理变得简单
应用日益复杂,数据类型更加多样,存储资源配置需要面向复杂应用的环境,需要存储系统具备智能,在应用之间实现资源的灵活调配,资源配置随应用需求而变。
这样以来,用户能彻底告别以往手动调配存储资源而分配结果又不尽理想的境况,使存储管理更加简单。
2.2.以往存储资源管理架构的问题
2.2.1.传统架构
1.传统架构的特征
⏹串行架构LUN、RAID、Disk三者是串行关系,应用看到的逻辑空间被牢牢束缚在固定的Disk之上
⏹资源计划配置模式首次配置计划中LUN的容量大小,决定了其下RAID配置和Disk数目
2.问题
⏹资源配置固定,性能扩展性和容量扩展性差:
对于主机LUN,也就是对于应用的存储资源配置是固定的,不具弹性,因此决定了对应用的性能和容量的扩展性都难以实施
⏹难以实现配置改动:
任何一次资源配置的改动都是“伤筋动骨”,最严重的情况是应用重做。
2.2.2.LUN虚拟化架构
1.架构特点
⏹在LUN层之上的进一步虚拟化,将多个LUN虚拟化成一个虚拟的LUN,提供给应用
⏹虚拟LUN由多个Componentlun和一个对上透明的MetaLUN组成;
⏹虚拟LUN可基于多个ComponentLUN的条带化后创建;
2.优势
⏹提高了并行性能,性能和容量扩展性大幅提高;
⏹ComponentLUN成为可配置的存储资源,配置更加灵活弹性
3.劣势
⏹虚拟化基于特定存储介质,存储资源分层条件下,无法实现应用数据分层存储
⏹仍然无法实现对复杂应用的存储资源动态配置
2.2.3.分散数据块存储资源管理架构
1.架构特点
⏹存储资源不以RAID组织,被划分成系统可分配可管理的数据块;
⏹主机LUN被划分为数据块单位,称作分区,每个分区大小对应一个数据块;
⏹LUN分区后以数据块为单位分散存储在系统的多个磁盘组;
⏹LUN的分区数据块分散存储后,都在不同的磁盘组上做了复制副本;
2.优势
⏹引入全局虚拟化思想,为基于数据块的存储资源管理方式
⏹并行性能和扩展性大幅提高
⏹摆脱了传统RAID的弊端,磁盘故障后重建效率大幅提高
3.弊端
⏹一个热点应用会影响其它所有的应用
⏹单一复杂应用的局部热点问题无法解决
⏹数据布局模式固定,没有策略选择
⏹大量的存储空间浪费
3.宏杉ICMT(智能数据块管理)的架构及原理
ICMT(IntelligentCellManagementTechnology,智能数据块管理技术)是宏杉存储系统的核心技术之一,是针对存储资源管理的创新技术。
3.1.ICMT的存储资源管理架构
宏杉的ICMT存储资源管理架构是在传统的LUN层和RAID层之间加入了基于Cell的存储资源池(StoragePool)层。
存储资源池(StoragePool),是将一个或多个不同存储介质和级别的RAID阵列组织成一个逻辑上的存储资源实体。
所谓Cell,形象称之为“细胞”,在ICMT技术指“活性”的存储资源“原子”单元,存储资源池中的存储资源以Cell为单位进行划分,Cell是ICMT进行存储资源配置管理的最小单位。
在此基础上,LUN的创建是与底层RAID及以下层级无关的,实际上是在某个存储资源池中分配一定数量的Cell给LUN。
ICMT架构中storagepool的创建,打破了传统串行的存储资源架构,使得存储资源全局配置成为可能。
storagepool中的存储资源按照Cell为单位进行划分,并以Cell为单位进行配置,可实现对上层应用更加灵活、无需关注下层细节的全局性资源配置。
ICMT架构中的StoragePool和Cell
3.2.ICMT的存储资源虚拟化特征
ICMT架构的创建是ICMT架构自下往上虚拟化的过程。
虚拟化过程分为以下四部分。
⏹RAID创建及虚拟化
⏹Storagepool创建及虚拟化
⏹Cell创建及虚拟化
⏹LUN创建及虚拟化
1.RAID创建及虚拟化
ICMT架构创建,首先是RAID创建。
RAID创建就是将多个物理磁盘虚拟成一个RAID阵列的过程。
ICMT支持RAID0、RAID1、RAID10、RAID5、RAID6等RAID级别。
ICMT支持SSD(固态盘)、SAS硬盘、SATA硬盘三大存储介质类型。
单个RAID的虚拟化只能基于同一存储介质。
ICMT的RAID层虚拟化结果,是创建了不同RAID级别和存储介质的RAID阵列。
ICMT能创建SSDRAID0/1/10/5/6、SASRAID0/1/10/5/6、SATARAID0/1/10/5/6共15种类型RAID阵列。
2.Storagepool创建及虚拟化
ICMT架构一个最显著的特征之一是在RAID层之上创建了StoragePool层,storagepool层虚拟化实际上是将若干个RAID虚拟成一个存储资源的集合体。
Storage集合是“自由”的,无论何种存储介质和类型的RAID都可以集合成一个storagepool,storagepool实际上是一个虚拟的边界概念,边界以内的资源可按照某种策略或规则进行资源管理,边界之外,是按照另一种策略或规则进行资源管理。
3.Cell创建及虚拟化
Cell的创建和虚拟化是针对某个storagepool,是在某个storagepool中按照指定的cell大小,对storagepool中的资源进行划分,storagepool被虚拟成cell的集合体。
Cell是有属性的,大小、地址、介质类型、RAID类型、所属的storagepool编号是Cell的基本属性。
所有的Cell都是虚拟存储块,但每个Cell都不一样,基本属性是每个Cell的标识。
4.LUN创建及虚拟化
LUN的创建和虚拟化过程,实际上是ICMT管理进程为LUN分配一定数量的Cell的过程,LUN创建好后,ICMT会记录哪些Cell分配给了这个LUN。
以上虚拟化的过程对用户和主机是透明的,用户和主机只能看到存储系统分配的LUN。
从用户和主机来看,ICMT架构所创建的LUN和传统架构创建的LUN是一样的。
当然,ICMT将LUN层以下细节开放给了存储管理员,因为他们需要掌控存储系统中的一切,以便更好的管理,比如为存储资源配置设定策略等。
ICMT虚拟化架构示意图
3.3.ICMT的存储资源动态弹性配置特征
ICMT存储资源管理的动态弹性特征,体现在两个方面,一个是性能资源的动态弹性配置,资源配置随着性能的变化不断变化;另一方面是存储容量的动态弹性配置,存储容量依据实际使用的数据存储空间的增长进行增量配置。
3.3.1.ICMT存储性能资源动态配置
以往为业务应用配置存储资源,都是根据预先的或者一段时间的性能评估,相应配置存储介质层、磁盘数量、RAID类型等。
但过了一段时间后,可能再次出现性能瓶颈,这就导致所配置的存储资源需要再次进行调整。
目前,对存储资源的配置调整可以基于LUN(以LUN为单位)的数据迁移来实现,但这种LUN级别的迁移调整,效率低,而且往往会出现配置过剩的情况。
基于ICMT存储性能资源配置,能完全避免以上初次规划、(利用LUN迁移)配置调整、再次配置调整的问题。
在为业务应用创建配置存储资源时,只需关注配置容量,无需关注存储介质、磁盘数、RAID类型等等,也就是说无需进行配置规划。
业务应用一旦开始读写,ICMT会按照业务应用在存储空间中的实际I/O压力分布,分配不同性能等级的Cell资源给业务应用。
访问频率极高的数据存储区域会分配高性能的Cell,比如SSD介质的RAID10属性的Cell;访问压力一般的数据存储区域会分配一般性能的Cell,比如SAS磁盘介质的RAID5属性的Cell;对于访问压力较低的数据存储区域会分配低性能的Cell,比如SATA磁盘介质的RAID6属性的Cell。
这里所说的数据存储区域,可能是整个LUN,也可能是LUN的分散的几个局部区域。
因此,ICMT真正实现了存储性能资源的动态的、弹性的、精细化的配置。
可见以下示意图。
基于Cell的存储性能资源弹性配置
3.3.2.ICMT存储容量弹性配置
ICMT以Cell为最小资源配置单元,能实现存储容量精细化弹性配置。
以往为业务应用配置存储空间,往往是预先划分出一部分足够大的空间预先分配给该项应用,即使这项应用暂时不需要使用这么大的存储空间,但由于这部分存储空间已经被预留了出来,其它应用程序无法利用这些已经部署但闲置的存储容量。
这种分配模式一方面使闲置的存储数量不断增加,系统总体拥有成本升高;另一方面用户不得不购买更大的存储容量,才能适应环境,成本进一步加大。
ICMT存储空间配置特点如下:
⏹智能初始分配。
初始空间分配时,管理员只需输入应用数据存储的可能的最大存储空间。
系统会自动在StoragePool中获取存储空间,管理员无需指定,也无需手动配置。
⏹空间按需分配,容量自动增长。
系统的ICMT进程会自动侦测应用实际使用的存储空间,会自动配置若干相应大小的Cell存储空间给应用,实现实际存储空间需求与存储容量配置的精确匹配。
⏹对业务应用透明。
以上动态弹性的存储容量配置,对业务应用、主机都是透明的,性能和业务连续性都不受影响。
下图示例,初始为一个主机LUN规划了700GB空间,主机应用看到700GB空间,但存储系统实际只分配了300GB,但后续随着业务数据的增长,存储系统侦测到增长,并为业务增配了相应大小的Cell资源。
基于Cell的存储容量弹性配置
3.3.3.ICMT针对热点核心应用的存储资源QoS保证
Storagepool隔离热点并进行资源跨pool调配
ICMT中,业务应用和StoragePool具有对应关系,storagePool可灵活对应一个或多个应用。
对于某个storagepool中的某个应用,存储读写压力特别大,那么同一个storagepool的其它应用会受到影响,会出现性能下降的情况。
为了避免这种情况发生,可以单独为这个热点应用创建一个storagepool,这个StoragePool可视为对此应用的存储资源分区,使得此应用不争夺其它应用的存储资源,其它的应用也不干扰这个热点应用。
如果这个单独资源分区的应用出现性能瓶颈,由于ICMT支持跨storagepool资源调配,可以从其它storagepool中将闲置的存储资源调配过来,以提高性能。
由此可见,ICMT中StoragePool起到了热点隔离的功能,于此同时,storagepool之间又能根据所绑定的应用需求弹性调配资源,因此可实现对核心应用的存储资源QoS保证。
3.4.ICMT存储资源管理的自动化特征
ICMT具备虚拟化、动态弹性架构特征,并在此基础上,实现了存储资源配置管理的自动化。
ICMT真正实现了依据复杂应用的实际变化,自动调整存储资源配置。
这样的自动化过程,主要有以下三个子过程组成:
第一,是测量和统计storagepool中每个Cell的热度。
测量方法如下:
⏹Cell的热度由最近的访问频率决定,其度量指标为最近时间内读写I/O个数;
⏹ICMT对Cell维护累积的I/O数目和时间权值;
⏹24小时内I/O的权值大,24小时前权值小;
第二,分析Cell的热度,具体完成以下工作:
⏹间隔一段时间触发一次分析;
⏹storagepool中每个cell按照热度从高到低排序
⏹排序以StoragePool为单位;用户可手动干预排序,进行微调;
第三,Cell迁移,迁移按照以下原则进行:
⏹ICM优先将热度序列靠前CELL迁移到更高层;
⏹除非所在层资源不够,Cell不进行下移;
⏹以优先充分利用高速存储资源为原则;
ICMT存储资源自动化配置过程
以上三个子过程,完成ICMT自动化资源配置管理的一次周期循环。
三个子过程周而复始,可实现存储资源的自动、全局、最优配置。
4.ICMT应用
4.1.自动分层存储
目前存储系统普遍支持SSD、高速SAS盘和低速SAS和SATA盘等三大类存储介质。
包括高速缓存,按照读写性能的高低可将存储系统划分四个存储层:
0层:
高速缓存
1层:
SSD(固态盘)层
2层:
高速SAS机械盘层
3层:
低速SAS和SATA机械盘层。
如下图表:
按存储介质分层
经统计,业务数据中约5%处于活动状态,约95%处于非活动状态。
自动分层存储,就是根据业务数据的状态,将数据在适当的时间放到适当的存储层。
宏杉的自动分层存储功能就是基于业务应用不断变化的性能需求,按照预先设定的策略,自动将数据迁移到不同的存储介质层。
自动分层存储示意图
宏杉的自动分层存储支持两种分层策略:
⏹预定义策略按照预定义的策略,将热点数据预先调入到第1层(SSD),将非热点数据调入到第3层(7.2KSASSATA)。
此种策略适用于以LUN为单元进行迁移;
⏹实时策略根据实时的性能统计数据,分配热点和非热点数据的位置,此种策略适用于以Cell为单元进行迁移。
客户部署此功能,能获得应用需求和存储资源的最佳匹配,存储资源利用率得以提高,于此同时,存储管理省心省力!
4.2.自动精简配置
自动精简配置是一种先进的、智能的、高效的容量分配和管理技术。
以往由于对应用系统规模的估计不准确,往往会造成容量分配的浪费,比如为一个应用系统预分配了5TB的空间,但该应用运行后只占用了1TB的容量,这就造成了4TB的容量浪费,而且这4TB容量被分配了之后,还很难再被别的应用系统使用。
采用自动精简配置技术的数据卷分配给用户的是一个逻辑的虚拟容量,而不是一个固定的物理空间,只有当用户向该逻辑资源真正写数据时,才按照预先设定好的策略从物理空间分配实际容量。
自动精简配置的核心原理是“欺骗”操作系统,让操作系统认为存储设备中有很大的存储空间,而实际上各逻辑资源是为未来考虑的使用容量。
针对前面的例子,可以预先为应用系统分配5TB的逻辑空间,但实际占用的物理空间可以只有1TB,只有当应用的实际容量接近或超过1TB时,才会按照预先设定好的策略再为应用系统分配一部分新的存储空间,比如该应用的实际的物理空间达到1.5TB。
。
从实现上看,新增的存储空间就是ICMT从存储池中获取总共0.5TB大小,合计500个Cell(1GBCell计,大概500个Cell)的存储空间。
自动精简配置不仅解决了单个应用的初始空间分配和扩容的难题,还大大提高了整个存储系统的资源利用率。
此外,由于容量扩展过程是由存储阵列完成,应用完全感知不到,因此能够实现真正的不停机扩容。
4.3.数据迁移和归档
海量数据存储需要提高在线存储系统及其存储资源的利用率,区分活跃数据、非活跃数据和历史数据,并将历史数据迁移到廉价的、高存储密度的存储系统或存储介质上。
宏杉提供数据迁移和归档方案是利用ICMT技术,基于策略实现LUN的数据迁移。
ICMT按照时间策略发现LUN对应的文件空间需归档,就会下发指令自动将对应空间数据迁移到归档空间,腾出的在线存储资源用于新数据存储。
归档存储空间的存储资源部署了MAID(MassiveArrayofIdleDisks)技术,一旦有归档过程,归档磁盘将被唤醒,归档完毕磁盘进入休眠。
宏杉的数据迁移和归档方案,能实现绿色高效存储,能大幅降低海量存储应用的首次投入成本和运维成本。
数据迁移和归档示意图
5.总结
宏杉的ICMT智能数据块管理技术是一种典型的云架构技术,用于进行存储资源的自动化配置管理。
第一,ICMT是一个虚拟化架构技术,能将不同存储介质和类型的RAID虚拟成存储池(StoragePool),并进一步将存储池虚拟划分为可配置的活性数据块(Cell),存储资源虚拟化成了Cell,Cell成为存储资源配置的最小单位,跨存储介质和RAID类型的存储资源全局配置的架构建立起来;第二,ICMT能实现存储资源在性能和容量上的动态、弹性配置,能自动侦测业务应用对存储资源的性能和容量的实际需求,配置相应类型和数量的Cell给应用;第三,ICMT的存储资源配置管理能实现自动化,通过统计、分析、迁移的过程,准确地将Cell对应到业务应用上。
宏杉科技将ICMT具体应用于自动分层存储、自动精简配置以及数据迁移与归档等三大功能中。
在复杂的客户应用环境中部署这些功能,不仅能大幅提高应用性能和存储资源利用率,而且会让存储管理变得更加简单!
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 科技 ICMT 智能 资源管理 技术