虚拟化存储系统.docx
- 文档编号:26297574
- 上传时间:2023-06-17
- 格式:DOCX
- 页数:16
- 大小:95.67KB
虚拟化存储系统.docx
《虚拟化存储系统.docx》由会员分享,可在线阅读,更多相关《虚拟化存储系统.docx(16页珍藏版)》请在冰豆网上搜索。
虚拟化存储系统
虚拟化存储系统
华中科技大学
集群与网格计算湖北省重点实验室
信息存储系统教育部重点实验室
2003年12月
1.课题研究背景
当今社会,信息正以超乎人们想象的速度增长,这对信息存储系统的容量和速度提出了空前的要求,由此引发的各种问题也随之而来。
人们对信息数据日益广泛的需求导致存储系统的规模变得越来越庞大,管理越来越复杂,信息资源的爆炸性增长和管理能力的相对不足之间的矛盾日益尖锐。
同时,这种信息资源的高速增长也对存储系统的可靠性和扩展性提出了挑战,信息资源的共享也显得越来越重要。
在广域网中存在大量相互独立的数据孤岛,它们之间的数据资源不能共享,存储空间不能得到有效使用,数据的传输性能不足。
存储虚拟化是指将用户看到的存储资源同具体的物理存储设备分隔开来,为存储用户提供统一的虚拟存储池。
它是具体存储设备或存储系统的抽象,展示给用户一个逻辑视图,同时将应用程序和用户所需要的数据存储操作和具体的存储控制分离。
存储虚拟化的任务首先是在多个物理存储设备或存储系统上创建一个抽象层,屏蔽复杂性,简化管理;其次是对存储资源进行优化。
本课题研究了广域网范围和存储局域网(SAN)内部的存储虚拟化技术,以及支撑这种技术的文件系统。
据统计,在企业网、局域网内部采用分布式存储技术的企业,其存储服务器、磁盘阵列甚至PC的存储空间利用率一般只达到50%,很多设备甚至还达不到,用户投资被大量浪费。
由于文件服务器系统缺乏对并行I/O的支持,在大量用户访问或遭到恶意访问攻击时,系统将很快达到饱和而无法完成服务。
通过存储虚拟化技术,不仅可以简化异构存储管理的复杂性,更可以高效充分地利用存储空间。
通过在互连网络环境中引入分布式RAID功能,能够实现数据有效备份和容灾,提高信息的安全可靠性。
通过将三级存储设备虚拟为二级存储,可以为用户提供快速海量存储。
局域网的网络存储技术基本上可以分NAS和SAN两大类,而NAS和SAN又各有其优缺点。
因此,提供一种技术将NAS和SAN统一整合起来是一个很有意义的研究课题。
在由高速串行SCSI接口构建的SAN中,如果没有SAN管理软件的管理和调度,只要存在两台主机,就必然存在共享冲突的问题,存储设备就无法正常工作,光纤通道的优点就无法体现出来。
相反,如果SAN管理软件管理调度得当,FC所具有的优势就能被充分发挥出来,在此基础上,还可在系统中增添如并行存储、负载平衡和数据迁移等功能,将使系统具有非常高的性能,全方位解决在信息高速公路中服务器存储系统的瓶颈问题。
SAN的管理问题,已成为当前学术界和产业界最为重要的一个热点。
但是,目前处于领先地位的Veritas、IBM和HP等国外著名公司的SAN管理软件产品,多采用静态/动态配置的分布式管理策略,即把存储网络中的存储设备集合成为磁盘池(diskpool)并划分为卷(Volume)空间后把各卷配置给SAN中的各台主机,卷只能被其拥有主机进行读写操作,不同主机之间不能直接共享同一卷中的数据,而只能通过传统文件服务器的C-S模式共享卷中的数据。
采用配置文件进行分布式管理的SAN系统实现了存储设备和存储空间的共享,但还不具备文件共享和元数据共享的能力。
随着客户对数据的依赖性迅猛增长,数据存储的可靠性和可用性正日益成为企业信息化进程中的一个关键环节。
而文件系统作为连接底层物理磁盘与上层应用层之间的纽带,在信息存储中起着至关重要的作用,如何为文件系统提供故障恢复功能以及如何提高文件系统的可用性成了目前亟待解决的关键问题。
在863项目“存储虚拟化及其文件系统研究”的资助下,我们对存储虚拟化及其相关技术进行了深入研究。
经过两年的探索、研究和开发,本项目组成功研制了虚拟化存储系统。
2.系统总体结构
虚拟化存储系统可以将分布在互联网上的各种存储资源整合成具有统一逻辑视图的高性能存储系统,因此又成为GDSS(GlobalDistributedStorageSystem)系统。
整个系统主要包括存储服务点SSP(StorageServicePoint)、全局命名服务器GNS(GlobalNameServer)、资源管理器RM(ResourceManager)、认证中心CA(CertificateAuthority)、客户端、存储代理SA(StorageAgent)以及可视化管理,如图1所示。
SSP是整个系统的入口,对系统所有模块的访问都通过SSP,它主要提供FTP接口、CA接口、RM接口和GNS接口;系统中SSP的个数可以根据需要动态增加;SSP接管了传统方案中GNS的部分功能,减轻了GNS的负载,提高了系统的可扩展性。
GNS负责系统的元数据管理,主要包括元数据操作接口、元数据容错系统、元数据搜索系统。
RM包括资源调度模块和副本管理模块,其主要负责资源的申请和调度,同时提供透明的副本创建和选择策略。
副本技术减少了文件数据访问延迟和带宽消耗,有助于改善负载平衡和可靠性。
尤其是动态的副本创建机制,即自动的选择存储点以创建副本,并根据用户的特征而自动变化创建策略,为副本机制提供了更高的灵活性。
客户端目前支持三种形式:
通用FTP客户端、文件访问接口和特制客户端。
用户通过系统提供的特制客户端,不但能够进行用户组操作,具有搜索和共享等功能,还可以获得更高性能的服务。
CA包含证书管理系统,主要负责系统的安全性和数据的访问控制,同时它记录了用户的注册信息。
SA屏蔽了存储资源的多样性,为系统提供统一存储访问接口,同时提供了文件操作方式和扩展的FTP操作方式,另外它对文件复制管理操作提供支持,为高效传输提供服务。
同时SA这一级实现了局域存储资源的虚拟化,包括统一SAN和NAS,分布式的磁盘虚拟化、磁带库虚拟化和SAN内部共享管理等。
图1:
虚拟化存储系统整体架构
3.系统功能及关键技术
GDSS系统的功能模块划分如图2所示。
图2:
系统功能模块图
3.1多样的数据访问接口
GDSS系统为终端用户提供形式多样的访问方式:
1.标准FTP协议的服务。
2.特定的GDSP协议的服务。
3.兼容MPII/O文件读写接口。
4.客户端的类Java文件I/O。
5.GDSS图形客户端。
终端用户的服务访问点是SSP。
SSP采用协议分离的层次式结构,支持三方数据传输,并具有平台无关、语言无关的特性。
3.2元数据管理和容错
元数据管理涉及的关键研究内容包括:
定义元数据信息,包括存储资源、文件、用户等信息;元数据服务器的扩展;基于用户的资源分配方案,系统提供基于用户的资源存储视图,实现逻辑文件名与物理文件位置的分离及映射功能;元数据信息与其他相关应用的兼容性;元数据信息的检索;元数据服务器性能的优化。
采用LDAP目录服务器(DS)来进行元数据的组织管理。
元数据是描述数据的数据,一旦丢失,影响全局,因此需要对其容错功能进行研究。
元数据的数据量相对较小,所以本系统采用多副本对元数据进行容错。
不同的用户有不同的权限,可以对其元数据要求不同的安全级别。
对于安全级别比较高的元数据,可以分配较多的副本。
3.3全局范围内的数据共享与访问控制
虚拟化存储系统的一个首要目的是消除分布在广域范围内的多个信息孤岛,在更大范围内更好地实现数据共享,从而尽可能地使用户找到他想得到的数据。
数据资源的共享要实现两个目标:
a.数据在两个用户之间的交流共享;b.数据同时在多个用户之间的交流共享。
由数据共享所引申出来的一个问题是数据的访问控制。
不同的用户对共享的数据具有不同的访问权限,必须把用户限制在他所能操作的数据和所能实施的权限上。
GDSS系统的物理存储资源以域的形式来划分。
每个域都是一个自治的资源实体,可以设定自己的资源使用策略和对外服务提供策略。
GDSS系统负责把这些物理资源实体组织和管理起来对终端用户提供统一的存储服务。
这里,我们把GDSS系统的资源使用者称为终端用户。
现实世界中的实体可以根据自己的资源需要和不同域所能提供的资源服务类型,来选定一个域进行注册。
然后他就可以使用GDSS系统的数据资源和存储资源。
GDSS系统引入一个新的概念,存储服务点(SSP)。
GDSS系统提供许多分散的SSP,它们独立于所有的域,是用户访问存储资源的入口。
SSP向最终用户提供数据存储服务,并负责和所有域的GNS和SA进行控制交互。
3.4全局统一的文件名字空间
文件命名空间用于帮助用户如何发现一个存在于特定位置的数据文件。
名字空间通常有两种实现方法:
一是建立一个完全全局统一的名字空间,所有的用户可以看到系统中的所有数据文件;二是多名字空间系统,不同的用户或不同位置使用的名字空间不同,可以访问数据资源也有所不同。
虚拟化存储系统中存在大量分散的用户和大量分散的数据,如何建立一个文件命名机制是一个重要问题。
它必须实现文件定位的高效率、位置透明性和访问透明性。
GDSS系统的名字空间结合了单一名字空间和多名字空间的特点,建立了一个全局统一的文件命名空间,对所有的用户提供相同的文件命名、定位和访问机制。
同时针对不同的用户的兴趣,为他们提供不同的数据视图,这样,系统针对特定用户要维护的元数据信息也相应减少从而提供了数据定位的效率。
整个GDSS系统的物理资源由分散的多个自治域构成,但给用户提供的名字空间是逻辑的,以屏蔽数据物理位置的分散性,实现数据的透明访问。
就是说,用户对数据文件的各种访问操作都是在逻辑名字空间上进行的。
SSP负责逻辑名字空间的构建,而SSP与域中的GNS和RM来共同完成数据文件的完全逻辑限定名到实际数据物理位置的转换。
3.5数据副本管理技术
GDSS系统提供数据副本管理技术。
主要的研究内容有:
副本创建的时机;副本创建的策略;副本的更新时机;副本的替换的时机;副本的选择的策略;副本的传输。
GDSS系统动态副本模型主要由副本目录、资源管理器、访问纪录器、副本管理器、副本传输器等五部分构成。
其中,副本目录提供文件和对象的逻辑名字到具体物理存储位置之间的映射;资源管理器负责存储资源的调度分配和管理,收集域内存储系统的物理属性,资源管理器同时充当着资源选择器的角色;访问记录器记录本域或远域用户对文件的访问情况,如访问用户、用户所在域、文件访问时间、文件大小、访问回复延迟;副本管理器是整个副本模型的中枢,可以对副本目录进行条目的添加、删除、更新操作,并监控和触发副本实际过程。
3.6数据安全
如何保证数据不会被越权访问是存储虚拟化所面临的关键问题之一。
GDSS采用访问控制和安全认证相结合的方式保证数据的安全。
访问控制在前面已经介绍过,本节介绍系统的安全认证架构。
GDSS综合考虑Kerberos私钥认证方式和PKI公钥认证方式两者的特点,并将其有效结合,提供了一种能够适应广域网环境下身份认证和授权访问要求的安全模型,具有以下优点:
1.通过使用层次CA认证架构在广域全局范围内发放证书。
同时,密钥的管理、分配、存储都采用证书的方式。
2.实现了一次性签放的机制,所有签放票据都有一个有效期。
3.使用访问控制服务器,有效加强本地域内安全策略的实施。
4.支持双向的身份认证。
3.7数据传输
虚拟化存储系统需要一种高效可靠的数据传输机制以支持大量数据的移动、传输和复制,这种传输机制具有以下几种功能:
1.快速数据传输:
可以采用并行数据传输,分块传输和流水线技术等多种机制来保证;
2.分块数据传输:
由于系统的数据是广泛分布的,所以需要支持多个数据块的并发数据传输;
3.部分数据传输:
可以支持断点续传;
4.第三方数据传输:
由于应用和数据都是分布式的,许多应用需要用到多个资源,所以必须提供一种机制,允许一个地点的用户或应用能够启动、监视和控制其他两个地点存储系统的数据传输,为应用使用多个地点的资源提供保障;
为了保证存储虚拟化中数据的高效、可靠传输,我们在SSP、SA、Client和文件访问接口里面都插入了传输控制模块。
3.8文件访问接口
GDSS系统向用户提供文件系统访问接口,同时系统提供对MPI-IO的支持。
文件接口由多个功能模块组成,例如文件打开模块、文件读模块、文件写模块、文件定位模块、文件大小截取模块、文件flush模块、文件删除模块和文件关闭模块。
ROMIO是MPI-IO规范的一个高性能、可移植实现。
ADIO(Abstract-DeviceInterfaceforParallelI/O)是ROMIO的一个关键部分,它不是提供给编程人员的新的APIs,而是实现其他APIs的一种策略。
ADIO在不同的文件系统上实现,提供一组最基本的并行I/O访问的函数。
ROMIO对GDSS系统的操作是先将操作转化为ADIO层对文件的操作,之后转化为GDSS系统对其文件的操作。
3.9全局可视化管理
GDSS通过分布的、全局统一的Web服务器来提供全局一致的服务管理。
管理员可以通过支持Javaplug-in的浏览器方便的从远程对整个系统进行监控管理。
监控管理主要分为四个模块:
1.全局信息和证书的管理:
负责注册、管理全局的域信息和SSP信息,以及证书的管理;
2.SSP管理:
负责对SSP服务器的资源状态信息进行启动管理、链接管理、监控;
3.GNS管理:
负责对GNS服务器的资源状态信息进行启动管理、链接管理、监控;
4.RM管理:
负责对RM和Agent的资源状态信息进行监控,对RM服务器进行启动管理、配置管理、策略配置以及副本数据的维护。
所有的管理模块通过Http服务的方式进行链接,统一在全局信息服务器上。
3.10虚拟化分布式磁盘阵列
分布式磁盘阵列可以将各个网络结点的空余存储空间按照一定的磁盘阵列级别进行组织,使得在客户端将分布式磁盘阵列虚拟成本地逻辑磁盘驱动器,利用本地已有的文件系统管理虚拟磁盘上的数据,这样客户端可以不需通过服务器,就可在本地驱动程序栈中生成对虚拟磁盘访问的逻辑块命令。
同时,服务器的职能转换成为一种功能单一的网络控制台,负责将分布的磁盘阵列空间统一为一个大的存储池,提供给客户端的用户使用。
3.11虚拟化磁带库
在传统存储梯次结构中,磁带库通常作为归档、备份等第三级存储设备使用,在这里它被虚拟化为块设备作为二级存储设备使用。
无论是磁盘驱动器还是磁带库,最终向上层呈现的都是可管理的存储区间。
虽然系统为不同类别的外部存储设备提供不同的中间层驱动程序,但这些驱动程序功能是相似的,都把文件系统的I/O命令化为可以被底层驱动理解并执行的标准I/O命令。
因此在中间层对它们进行虚拟化管理是可行的,这是磁带库缓冲调度系统得以实现的基础。
磁带库缓存调度系统向用户提供一个容量与磁带库存储空间相同的、可以进行随机I/O访问的虚拟设备,用户可以像使用常规物理硬盘一样使用它。
缓冲存储调度的实现中利用了虚拟化概念。
当收到上层驱动派生的I/O命令后,驱动程序首先访问缓存空间,若数据命中则直接完成I/O处理,若数据不命中则需要访问磁带库,经过磁带库调度完成I/O。
3.12文件系统容错机制
文件系统作为连接底层物理磁盘与上层应用层之间的纽带,在信息存储中起着至关重要的作用,如何为文件系统提供故障恢复功能以及如何提高文件系统的可用性成了目前亟待解决的关键问题。
我们对文件系统中存在的同步写、异步写问题,数据结构中复杂的指针从属关系引起的数据不一致性问题,异常掉电、系统突然崩溃、磁盘物理故障等导致磁盘文件系统故障的问题作了研究。
针对这些问题,我们提供文件系统高可用性的解决方案,提出了文件系统镜像分布策略,研制开发了针对文件系统的文件快照技术(Snapshot)。
快照技术是一种保留某一时刻文件系统映像的技术,它用最短的时间和最低的消耗实现文件系统的只读备份,其目的是在应用层有效地保护数据不被破坏。
文件系统快照就是对文件系统的元数据的复制和监控。
我们通过记录整个文件系统的元数据在某一时刻的状态,建立文件系统在这一时刻的快照。
我们使用写时拷贝(Write-on-Copy)技术保证快照文件的一致性。
在建立了文件系统快照后,所有应用I/O对相应的文件系统所使用的磁盘块写入时,都需要将待修改的原始磁盘块复制到快照文件的数据区,并将快照文件中相应的磁盘块指针指向新复制的磁盘块。
这样,通过快照文件就可以获取文件系统在某一时刻的完整静态备份。
3.13SAN系统的共享冲突与管理
在SAN中,存储设备与主机之间不再有从属关系,任意主机都可向存储设备发送SCSI命令,而存储设备所具有的功能仅只是忠实地执行所接收到的SCSI命令,存储设备并不知道命令的内容和数据的逻辑意义。
这样,多台主机共享存储设备时就必然存在着共享冲突问题。
为了解决这一问题,必须对SAN进行有效的管理。
在SAN中共享冲突主要表现在如下几个方面:
缓存数据一致性;节点间的数据一致性;元数据一致性。
解决SAN中共享冲突问题的方法主要有两种:
集中控制和分布式管理。
集中控制的管理系统结构简单,容易实现,适宜于小规模或中等规模系统。
其缺点是系统的管理开销极大地决定于管理策略,而管理策略制订较为困难,存储管理服务器容易成为瓶颈。
为了解决集中控制的性能瓶颈问题,本系统使用光纤通道(FC)技术实现了一个具备三方传送功能的SAN系统。
在这个系统中,客户机从存储管理服务器获得授权和控制信息之后,数据的传送直接在网络设备和客户机之间进行,无需存储管理服务器的“存储-转发”,从而解决共享冲突的同时,也提高了传输的效率,实现了文件元数据的共享。
为了提高管理效率,避免存储管理服务器成为系统瓶颈,采用数据流与命令流分离的方法。
3.14统一存储网
网络存储技术基本上可以分NAS和SAN两大类,而NAS和SAN又各有其优缺点。
结合目前IP存储的最新发展成果,我们提出基于TCP/IP的统一存储网体系结构——USN(UnifiedStorageNetwork)。
其原理是:
采用TCP/IP作为存储网络的构建技术,利用IP互联设备来构建存储区域网,其中存储设备包括iSCSI设备(为块设备)和NAS设备(为文件设备)。
从体系结构的角度来说,USN具备了传统SAN高性能、易扩展等特点;同时,通过高速附网通道将存储子系统直接联入LAN,从而形成了一个广义的NAS。
为将整个存储网络中存储设备整合成单一的存储池,在USN中有一个专门的元数据服务器MetadataServer(MS),用于对USN中的存储设备进行集中管理。
在USN中,有两类数据通道:
服务器通道和附网直连通道(NetworkAttachedChannel)。
数据从存储设备读出之后,对于需要由应用服务器处理的数据,通过服务器通道由服务器处理之后转发;对于不需要应用服务器进一步处理的数据,则由NAC直接返回客户,从而真正实现客户与存储设备之间的数据传送。
4.技术特色
(1)广域的虚拟化分布式存储架构
GDSS系统将分布在广域范围内的数据资源统一管理,屏蔽了底层数据资源的异构性、分散性,采用多个分布的存储服务点为用户提供了一个透明的全局数据视图。
(2)多样的数据访问接口
GDSS系统为终端用户提供形式多样的访问方式:
1.标准FTP协议的服务。
2.特定的GDSP协议的服务。
3.兼容MPII/O文件读写接口。
4.客户端的类Java文件I/O。
5.GDSS图形客户端。
(3)全局统一的文件名字空间
GDSS系统的名字空间结合了单一名字空间和多名字空间的特点,建立了一个全局统一的文件命名空间,对所有的用户提供相同的文件命名、定位、和访问机制。
同时针对不同的用户的兴趣,为他们提供不同的数据视图。
(4)面向用户特性的数据共享
GDSS系统根据用户使用数据资源的特性将用户分为各人用户和组用户,并且相应的提供两种数据共享方式:
简单数据共享和带目录一级ACL访问控制的数据共享。
(5)动态的副本管理机制
在GDSS系统中,通过创建同一数据的多个副本可以有效减少访问延迟和带宽消耗,同时数据副本技术有助于改善系统负载均衡和可靠性。
尤其是动态副本机制,即自动选择存储点进行副本创建、删除和管理,并根据用户的特征而自动变化副本策略,给用户提供了更高的灵活性。
(6)高性能数据分片传输技术
存储虚拟化涉及大量数据的移动、传输和复制,我们初步建立了一个在广域网上的高效数据传输机制,具体包括:
1.分片传输;2.部分数据传输;3.分布式合作传输;4.断点续传;5.Socket复用。
(7)全局可视化统一管理
GDSS通过分布的、全局统一的Web服务器来提供全局一致的服务管理。
管理员可以通过支持Javaplug-in的浏览器方便从远程对整个系统进行监控管理。
监控管理主要分为四个模块:
全局信息和证书的管理;SSP管理;GNS管理;RM管理。
所有的管理模块通过Http服务的方式进行链接,统一在全局信息服务器上。
(8)灵活的安全认证机制
GDSS系统采用PKI/CA的身份认证和Kerberos的访问控制相结合的底层安全架构。
PKI/CA的CA中心采用网状和层次相结合的布局方式,极大提高了安全架构的灵活性和动态可扩展性。
(9)基于低层驱动的并行I/O能力和热点数据自动迁移
针对高带宽任务情况下的传输瓶颈,采用了一种分布存储-并行传输的策略,将分配到单服务器的传输任务分配到多个结点执行。
结合网络中热点数据服务损失问题,实施数据自迁移,根据用户请求量的变化,调整迁移策略改善对特定数据的服务能力。
支持对Snapshot的中断、删除等操作。
(10)基于系统内核的多层次存储虚拟
基于操作系统的存储设备驱动栈,在不同驱动层次实现虚拟化存储:
在原有多种中间层驱动程序基础上提出公用中间层驱动概念,将各种存储资源集中管理,构建虚拟化存储池;在适配器驱动层实现虚拟化存储并通过多通道并行调度提高系统I/O性能。
(11)流水I/O技术
流水I/O技术将一个I/O任务中涉及到的网络I/O、磁盘I/O和数据搬动、协议变换等处理功能划分为多个操作环节,通过实时调度软件使多个I/O任务通过流水方式并行处理。
对于系统底层存储I/O部分也采用了同一技术思想,利用外部I/O协议所提供的排队等功能在预取操作中采用了简单有效的两段流水操作方式,即一次发送多条I/O命令,通过底层的并行I/O调度,在前一条命令通过外部I/O总线向主机传送数据时,后一条命令正在从底层存储设备上存取数据,提高了主从通道和设备通道的利用率。
对于能够较准确预测下一次I/O地址的应用,如视频应用,可以在存储系统采用这种流水预取数据方法有效提高性能。
(12)文件系统快照
文件系统快照对文件系统的元数据的复制和监控,通过记录整个文件系统的元数据在某一时刻的状态,建立文件系统在这一时刻的完整静态备份。
支持基于块设备的快照处理方法,以磁盘分区为单位,进行一对一的快照操作。
支持多级快照。
(13)SAN和NAS的统一
USN通过IP互联设备将应用服务器、存储设备等互连成为一个基于IP的SAN。
从体系结构的角度来说,具备了传统SAN高性能、易扩展等特点。
同时通过高速的附网直连通道直接联入LAN回路,从而形成了一个广义的附网存储(NAS)。
和国际上现有NAS/SAN融合方案相比,USN具有如下特点:
1、支持两类设备的接入,可以同时对块设备和文件设备进行统一管理,并形成为单一的命名空间;2、存储网络中文件设备的引入,使得USN可以同时提供两种服务:
块I/O和文件I/O服务;3、附网直连通道的引入,使得不需要由应用服务器作进一步处理的数据可经NAC直接返回,避免了应用服务器的存储转发,从而真正实现客户与存储设备之间的数据传送。
5.主要技术指标
存储虚拟化的功能是将各种存储资源集中起来,为用户提供统一的视图和方便的访问入口,其主要技术经济指标如下:
1.实现了广域网的各种存储设备、文件系统、操作系统、平台架构(IA32和IA64)的虚拟化;
2.实现了可视化的共享、实时管理、三方传输等具有特色的功能;
3.存储空间:
根据系统的设计和实现原理,系统具有良好扩展性,系统的存
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 虚拟 存储系统