XX存储方案建议书.docx
- 文档编号:4771148
- 上传时间:2022-12-08
- 格式:DOCX
- 页数:27
- 大小:646.48KB
XX存储方案建议书.docx
《XX存储方案建议书.docx》由会员分享,可在线阅读,更多相关《XX存储方案建议书.docx(27页珍藏版)》请在冰豆网上搜索。
XX存储方案建议书
XX大学存储方案建议书
XXX公司
二○一一年三月
1存储技术发展趋势
1.1主流存储协议介绍
信息或数据在IT系统中,总是必然处于“计算”、“存储”、“传输”三个状态之一。
这三个方面也正好对应于整个IT技术的三个基础架构单元——计算、存储和网络。
传统上,主机系统既负责数据的计算,也在通过文件系统、数据库系统等手段对数据进行逻辑和物理层面的管理,而存储设备,则是以直连存储(DAS)方式连接在主机系统中。
然而,由于历史发展的原因,各种标准和各种版本的操作系统、文件系统拥挤在用户的系统环境中,使数据被分割成杂乱分散的“数据孤岛”(dataisland),无法在系统间自由流动,自然也就谈不上设备的充分利用和资源共享。
有鉴于此,人们开始寻找存储网络化和智能化的方法,希望通过提高存储自身的数据管理能力,独立于主机系统之外,以网络方式连接主机和存储系统,以设备资源透明的方式为计算提供数据服务。
从而将数据管理的职能,从标准混乱、应用负荷沉重的主机中分离出来。
在网络存储的发展过程中,SAN(存储区域网络)和NAS(网络附加存储)得到了迅速的发展。
NAS是一种直接利用局域网,基于文件的存储架构,存储数据的传输也是基于局域网。
NAS的最大优点是可以很容易实现异构平台的文件共享,NAS的另一个优点在于其扩展性,因为存储单元可以比较容易地加入到网络中。
然而,NAS存储在数据备份或存储过程中会占用网络的带宽,可扩展性有限,并且访问需要经过文件系统格式转换,所以是以文件一级来访问,不适合Block级的应用,尤其是要求使用裸设备的数据库系统。
而SAN存储架构的出现弥补了NAS的不足,为存储系统的发展产生了巨大的推动力。
SAN(StorageAreaNetwork)存储区域网络,是一种通过网络方式连接存储设备和应用服务器的存储架构,这个网络专用于主机和存储设备之间的访问。
当有数据的存取需求时,数据可以通过存储区域网络在服务器和后台存储设备之间高速传输。
SAN的诞生,使存储空间得到更加充分的利用以及安装和管理更加有效。
在SAN网络中,所有的数据传输在高速、高带宽的网络中进行,SAN存储实现的是直接对物理硬件的块级存储访问,提高了存储的性能和升级能力。
早期的SAN采用的是光纤通道(FC,FiberChannel)技术,所以早期的SAN多指采用光纤通道的存储局域网络(FCSAN)。
FC光纤通道技术使得存储系统的可升级性、稳定性、可用性和性能都大大加强,而集中管理这一特性更是显著降低了总拥有成本。
因此,FCSAN迅速在重要业务和高性能应用领域得到普及,如数据中心环境。
然而,在过去8年以FC协议为主的SAN存储系统建设中,人们逐渐发现FC协议虽然基本解决了传输速度和扩大容量的问题,却难以完全承担起存储系统独立化的重任。
FCSAN的互操作性仍是实施过程中存在的主要问题。
SAN本身缺乏标准,尤其是在管理上更是如此。
虽然光纤通道(FibreChannel)技术标准的确存在,但各家厂商却有不同的解释,于是,互操作性问题就像沙尘暴一样迎面扑来,让人猝不及防。
这就导致了FC兼容性差、成本高昂、扩展能力差、异构化严重的问题。
在存储以SAN的名义独立走上IT舞台的同时,IP和以太网技术在网络领域突飞猛进,在同样1997-2005的8年中,主流商用协议标准从10M发展到了10G,整整提升了1000倍,行业的发展动力和技术标准的成熟性已无可争辩。
IP技术已经成为整个IT行业中最成熟、最开放、发展最迅速、成本最低、管理最方便的数据通讯方式。
在经历了FCSAN发展的过渡性尝试后,整个行业开始考虑将FC传输技术替代为更加成熟可靠、成本更低的IP技术,以适应广域网数据应用、大规模服务器数据集中、海量数据存储等应用对新一代存储系统的要求,同时为“随需应变”的IT新时代到来,奠定坚实的开放化标准基础。
2003年,以IBM等公司共同发起的iSCSI(InternetSCSI)协议,通过IETF组织的审议,公布为RFC标准。
iSCSI协议实际就是将标准的SCSI存储访问指令,打包到TCP/IP中进行传输。
iSCSI标准一经公布,就以其低成本、高可管理性、天然的跨广域数据传输和管理能力、海量组网能力得到了业界的青睐。
基于iSCSI协议构建的IPSAN存储,已崭露头角,成为新一代存储系统的标准,成为IT新时代围绕IP技术进行的网络与存储融合的标志性技术。
由于iSCSI协议将SCSI数据传输的基础从封闭昂贵的FC协议转移到IP之上,使存储系统突破了长期困扰着存储系统的兼容性、成本和管理性桎梏,使存储网格、广域数据传输、大规模服务器数据集中、远程容灾、高性能交换式存储架构等存储技术脱下昂贵的外衣,成为广大行业客户均能轻松获得的最新存储技术。
2006年底,XX存储销售额过亿,当年Q4在IP存储领域51.9%的份额,引起了包括IDC、Gartner在内的业界知名咨询机构的广泛关注。
从这一年开始,各大咨询机构开始将IPSAN和FCSAN分开,对中国市场的IPSAN进行单独的分析。
与此同时,各大存储厂家也开始支持IP存储的相关协议,越来越多的用户开始接受IP存储,开始认可IP存储的发展方向。
此后IP存储的发展就开始进入了快车道,2007~2008年先后发生的多次厂家之间收购:
DELL收购EqualLogic(IP存储)、Brocade收购Foundry(以太网)、HP收购LeftHand(IP存储),都无一例外的验证了一点,各存储领域的厂家,都开始涉足IP存储、以太网的路线。
近日,IDC公司发布的数据显示,2008年中国IP存储市场用户投资额同比增长达74.4%,远远超过整体外部存储市场增幅。
随着iSCSI技术的完善,数据块级的存储应用将变得更为普遍,存储资源的通用性、数据共享能力都将大大增强,并且更加易于管理。
随着千兆以太网的普及以及万兆以太网络的成熟,IP存储必然会以其性价比、通用性、无地理限制等优势飞速发展,iSCSI技术将联合SCSI、TCP/IP,共同开创网络存储的新局面!
1.2走向万兆的存储
当今网络存储领域应用最广泛的两大技术是FC存储和IP存储,二者发展历程和未来趋势如下:
上图中,红线代表IP存储的发展过程,黑线表FC存储,可以看到:
FC存储技术发展缓慢,前景不明,FC网络将被以太网替代。
虽然经过10年的发展,FC端口速度却仅有4Gbps;下一代8Gbps的FC存储标准目前处于停滞状态,正在讨论是否停止FC的发展,转而采用FCoE技术。
而FCoE技术则意味着FC网络将被淘汰,SAN网络统一到以太网技术上。
IP存储发展迅速,成为广泛应用的主流网络存储技术,是目前所有第三方知名咨询机构认可的存储技术发展方向。
从上图可以看到,在iSCSI作为网络存储标准化技术以来,仅仅经过4年时间就达到了10Gbps的速度(FC达到4Gb用了近10年时间),并且在4~5年内将达到100Gbps的速度。
权威分析机构IDC公司近日发布的数据显示,2008年中国IP存储市场用户投资额同比增长达74.4%,远远超过整体外部存储市场增幅。
而下述Garter和IDC提供的报告已经明确的显示,iSCSI的主机接口数和存储设备出货量保持高速增长,已经成为网络存储系统的主流技术。
在这种情况下,各大存储厂家也开始进行IP存储产品的研发和推广,越来越多的用户开始接受IP存储,开始认可IP存储的发展方向。
2007~2008年先后发生的多次厂家之间收购:
DELL收购EqualLogic(IP存储)、Brocade收购Foundry(以太网)、HP收购LeftHand(IP存储),都无一例外的验证了一点,各存储领域的厂家,都开始涉足IP存储、以太网的路线。
存储界万兆大事记:
2008年中EMC推出CX4系列的新型终端产品,明确表示09年中开始支持万兆iSCSI。
2008年中IBM推出DS5000系列的新型终端产品,明确表示09年中开始支持万兆iSCSI。
2008年7月低,博科公司宣布以30亿美金收购路由器专业厂商网捷网络公司(FoundryNetworks),FCSAN领域领导者的博科向世界宣布:
他们将正式进入以太网市场!
2009年4月SNW春季大会,博科推出了8000系列架顶式交换机,配置24个用于连接聚合增强型以太网的10Gb以太网端口,还推出两款FCoE聚合网络适配器,正式发布基于万兆的数据中心产品。
综上所述,无论是iSCSI存储还是FCoE标准的制定,近几年基于以太网的技术更新也让用户在构建数据中心时有了更多选择。
特别是当10Gb/s以太网进入商用后,所有的厂商和用户都在评估,是光纤通道更具优势,还是iSCSI更经济实惠。
也许很多人仍旧不愿意承认,以太网会一统天下,但至少有一点可以肯定,融合是大势所趋,这也是很多人看好FCoE的重要原因。
博科和思科,网络及存储领域的主流厂商,包括EMC、Emulex、Intel、NetApp、QLogic等都在密切关注基于万兆FCoE的进展,但存储走向万兆已经无可争议。
2数据中心存储的挑战和要求
2.1数据中心业务的挑战
随着数据中心规模的不断扩大,数据中心对存储系统的要求也不断提高,主要体现在下述方面:
⏹处理数据量越来越大
数据量不断增大是数据中心发展的趋势之一,除了传统的以数据库为典型代表的结构化数据之外,大量的图片、影音文件、设计文件等非结构化数据更是推动了数据中心数据量的爆炸式增长,数十TB,上百TB,甚至PB级的数据中心也是大量涌现。
如何应对如此大量的数据,是数据中心存储系统要面临的挑战之一。
⏹数据处理种类越来越复杂
除了数据量大之外,业务种类的多样性也是数据中心的一大特点。
由此导致的就是数据处理种类越来越复杂。
ERP、OA和公文流转、网站、图形图像处理、商业智能等多种业务在一个数据中心并存是再平常不过的。
而每个业务应用大致需要经历数据创建、积累、使用、转换、归档的过程,不同阶段对数据处理都有不同的要求。
如何满足越来越复杂的数据处理种类,也是数据中心存储系统要面临的挑战之一。
⏹处理及时性越来越迫切
一个大型数据中心每秒钟可能就要处理成千上万笔交易,除了航空订票、商场交易等常见在线交易之外,在特定的业务高峰期,数据中心需要承载的业务交易更是巨大,像大型运动会的订票、公务员考试查询等特定业务,数据中心同时面临的可能就是上百万的并发请求。
在高性能计算和商业智能领域,传统的一次数据分析和计算,可能需要几天甚至几个星期的时间,但在新的业务形势下,这些时间都被大大缩短。
因此,如何提高数据中心的处理及时性,也是数据中心存储系统要面临的挑战之一。
2.2数据中心存储的基本要求
数据中心业务的挑战,对存储系统提出了如下基本要求:
(1)整体性能要求高
数据中心整体性能的提升实际上以最终的输出效果来评判的。
这个效果与业务处理流程、底层硬件平台等息息相关。
如果将数据库软件和上层业务软件纳入讨论范畴,无疑将大大增加数据中心建设的难度,而且对于数据中心而言更多的是还要为上层业务部门提供足够充足的业务资源。
这类似于目前流行的“云计算”。
数据中心为气象台所提供的是气象数据的处理能力。
这种处理能力可以通过将整个数据处理过程分解,发现作为底层的动作是相同的。
从前端采集数据进入数据中心开始,一个经典的数据处理流程是由计算、传输和存储三大部分组成的,三大部分相互制衡形成了一个有机的整体。
IT系统组成图
⏹强大的计算能力
计算能力的提升是多方面的。
包括了数据库软件的升级优化、操作系统的优化和计算机硬件的优化。
从计算机硬件来看,计算机的内部总线、处理器和缓存等方面,计算能力发生了巨大飞跃。
而且通过数据服务器和中间件服务器的架构,可以最大限度的发挥小型机的强大计算能力,而且具备随着业务增长做弹性扩展的能力。
从目前调查的大多数计算中心的情况来看,很多时候服务器的CPU不是过载而是在等待状态,其所等待的是数据的传输和读写过程。
当然具体的应用,需要实际考察硬件环境和实际运行状态才能够确定。
⏹顺畅的数据传输
数据中心的数据传输至关重要,通常是由数据中心交换机来完成数据库服务器、中间件服务器和业务服务器的连接。
目前采用10Gb链路进行数据中心建设是数据中心建设的主力思路,所采用的技术主要是InfiniBand和10Gb以太网技术。
InfiniBand因为其技术的封闭性和产业链的不完整,应用相对狭窄,以太网技术因为标准化和完善的产业链支撑而获得广泛的应用。
在世界500强超级计算机链接方式中,有超过57%选择了以太网连接。
按照目前服务器与存储连接后的数据传输方式来说,采用4GbFC连接方式最大传输速度在350MB/s,传输4GB文件所需要的时间为12s,10Gb以太网连接方式最大传输速度为850MB/s,4GB文件所需要的传输时间为4.8s。
对于超大数据块的传输采用10Gb技术已经成为必然选择。
⏹高效的数据读写
服务器最慢的部件是什么?
是硬盘。
在采用集中式存储的IT系统中,存储的磁盘阵列如果不能够有足够高的性能,将会成为整个IT系统的木板。
高性能的磁盘阵列将是构建整个高效IT系统的基石。
其效率主要体现在三个方面:
✓数据传输的带宽、
✓每秒钟的读写次数(IOPS)、
✓读写延迟。
以时延为例,大型数据库应用系统每秒钟的读写次数在上万次是正常水平,传统的SATA硬盘(7200转)读写延迟为十几毫秒、FC(15000转)和SAS(15000转)硬盘读写延迟为2-3毫秒、固态硬盘读写延迟为0.09毫秒。
几万次读写所消耗的时间是非常巨大的,每次的等待所带来的都是整个CPU的等待和业务结果的推迟。
(2)数据高可靠,业务高连续性
数据和业务越来越集中的情况下,意味着风险的越来越集中,一旦数据中心发生故障将会发生严重的生产事故,比如台北桃园机场因IT故障导致停飞长达6小时、银联因为数据中心故障导致长达数小时无法刷卡消费。
数据中心可靠性的保障,不仅仅是单个设备的可靠性,还包括了架构的可靠性和应急制度的可靠性,只有全方位的考虑才能保障意外情况发生的万无一失。
(3)最成熟的架构与最先进的技术相结合
IT技术,尤其是存储相关技术,近几年发展非常迅猛。
万兆IPSAN、SSD、SAS、多核处理器、大容量缓存等等,带来了存储性能的提升,同时因为技术发展的必经阶段,可能带来很多未知问题,因此系统设计既要采取先进技术以提高整个数据中心建设的前瞻性,又要充分考虑技术的成熟性,避免由于技术的不成熟性导致的风险。
对此,基本策略可以采取最安全整体架构和最先进技术相结合的方式实现。
3****数据中心存储需求分析
3.1.****应用现状描述
略,根据实际需要添加。
3.2.****存储系统主要存在问题
基于****现有的IT建设情况,我们可以看到存储有以下主要问题:
一、没有统一的数据集中规划
从****的数据中心现状来看,存储品牌虽然多,但全部按照但系统的应用考虑,实际全部采用分散存储的方式,没有统一的集中存储方案,因此从存储的应用和维护的角度来看,存在多个异构系统,形成了几个SAN的孤岛,从而导致数据管理困难,未来的数据中心容灾建设无从下手;
二、主系统应用性能不高
由于两台DS4800分别为84A和82A,其内存配置分别为8GB和4GB,而为了实现系统的高可用性,采用了镜像模式,造成了这个系统的存储性能以DS4800低配的82A为主,因此从目前应用的情况来看,当PDM系统进行大量工作时性能不足;
三、数据备份策略滞后
备份采用网络备份,由于各系统的数据存储没有集中,目前数据中心的数据备份只能全部通过TSM备份软件,然后通过业务网络向两台IBM的N3650NAS产品中进行备份,备份数据流与业务网络完全重合,备份是对公司业务影响很大,因此备份只能在下班时间进行,并且备份时间很长,无法实现全面细化的数据保护;
四、存储系统的扩展性不强
由于各系统的存储系统基本是各自为政,因此当存储的性能和容量需要扩展时,只能按多个系统自行进行扩展,扩展方式受到了极大的限制,比如CAAP系统和ERP的数据库系统,全部采用DAS的存储方式,其性能和容量的扩展都受到了很大的限制,最终只能更换;
五、管理繁琐负载,数据风险大
由于由于各系统的存储系统基本是各自为政,造成多个存储系统的数据管理也是独立、特殊的,因此运维部门必须对多个系统采用不同的维护方式,数据管理分散,各系统的数据安全也没有统一的管理,数据安全存在比较大的风险。
3.3.****数据中心存储需求总结
基于****数据中心的现状,对于新的数据中心建设需求归纳如下:
一、需要建立统一的数据存储体系,实现采用集中的数据存储体系进行所有数据的集中;
二、需要建立标准化的数据存储体系,在标准化的平台上,保证未来多系统大规模数据存储的具有良好的兼容性和扩展性;
三、需要建立全面的数据安全保证体系,数据中心需要重新制定全面的数据保护及备份测策略,以保证整个数据中心数据能够全面的应对软硬件灾难,最大程度的保护业务连续性;
四、需要建立简单可行的数据管理体系,存储的本质是数据管理,数据中心的建设要建立起简单、高效的数据管理平台,以实现存储资源利用的最大化;
五、需要建立容灾建设的基础,容灾是数据中心建设的重要目标,因此数据中心的建设必须为后期的容灾建设打好基础,避免重复投资并最大程度的保护现有投资。
4****万兆IPSAN存储方案设计
4.1**数据中心建设目标
XX公司此次的数据中心建设规划是在科学、经济、合理的投资下,为****建立一个全面的数据中心体系架构,对所有系统数据集中存储管理的同时,全面考虑数据安全和业务连续性,方案将基于业界目前最为先进的100Gb网络和万兆存储设备为核心的体系架构进行建设,将全面**数据中心未来全面5年发展的需要。
同时,本次方案全面考虑提供本地逻辑容灾和远程物理容灾的手段。
在****中心节点实现PDM业务应用、ERP应用系统、电子邮件系统、办公自动化系统等的全面整合和关键业务数据的集中存储、数据安全保护;同时考虑未来在异地建立一个数据级容灾备份中心,RTO,RPO均达到国家的最高要求,并能按需扩展,支持下一步将该数据级容灾备份中心建设成应用级容灾备份中心。
4.2数据中心建设原则
为了全面保证****数据中心建设目标,在数据中心存储系统规划、建设、实施、运行和完善的过程中,必须应遵循以下建设原则:
(1)开放性:
系统符合开放性设计原则,具备优良的可扩展性、可升级性,可以支持开放系统平台,运行于现有的技术标准之上;
(2)兼容性:
与现有系统需要完全兼容,各个构成子系统必须紧密衔接、高度集成,构成一个整体;
(3)稳定性:
要保证系统运行的稳定性,使系统运行风险降至最低;
(4)业务连续性:
完善的远程容灾解决方案,满足业务连续性的需要;
(5)技术先进性:
系统设计应采用当前先进而成熟的技术,不仅可以满足本期工程的需求,也应把握未来的发展方向。
(6)可扩充性:
在系统设计时应充分考虑可扩充性,从而确保新功能、新业务的增加在原有的系统平台上扩展和实现。
(7)高可靠性:
系统平台具有高可靠性,支持服务器平台的高可用性集群技术;具备先进的容灾的设计;充分保证系统的高扩展能力和高容错能力,具有通道负载自动均衡能力和存储系统性能调节能力,提供极为充分的可靠性各项指标设计。
(8)高可用性:
在不停机情况下,实现不停机扩容、维护、升级等服务,提高性能以满足新的业务需求。
具备7×24×365连续工作的能力,系统的可用性应大于99.999%。
在自动化管理软件支持下可以实现磁盘数据的在线(不停机)备份。
(9)成熟性:
应尽量选用经过大量运用、成熟可靠的系统。
(10)可管理性:
要求配置实时性能监测管理软件。
可对主机、存储等设备CPU使用率、内存使用率、交换区使用情况、I/O操作、队列状态、磁盘空间、卷磁盘错误、系统事件、系统中各进程对系统资源占用等性能和操作数据等服务器性能进行实时监控和管理。
(11)可实施性:
选用成熟的技术,成熟的案例经验和设计方案,制定详细的技术实施方案。
(12)经济性原则:
在满足所有需求的前提下,选择最合适的设备及管理软件,使系统具有较好的性价比。
(13)充分保护用户现有投资:
采用先进技术,将现有存储系统无缝的整合在新系统中,实现对用户现有设备的有效利用,达到保护用户现有投资的目标。
4.3**数据中心总体方案详细介绍
4.3.1万兆IPSAN总体架构介绍
****数据中心的存储系统主要将应用于数据库管理和超大图纸文件编辑的PDM业务,是典型的对系统持续读写性能要求较高,并主要采用大文件数据块存储方式。
所以,方案选择以万兆为核心的IPSAN网络存储作为这些业务系统的基础存储平台。
其系统架构如下图所示:
方案说明:
第一,方案首先选用XX公司高端企业级存储产品XX型号作为存储系统系统的核心,实现关键数据的集中存储,满足这些应用对数据I/O高速、稳定响应的需要;
第二,方案为XX公司的XX型号磁盘阵列配置了XXTB的实际可用容量,通过强大的软件功能,实现存储到主机系统的灵活在线配置,支持在线的数据迁移,简化存储系统的管理;
第三,方案充分考虑到存储系统对XX学校现有业务和大型运输PDM系统未来的扩展性需求,采用存储精简配置功能,先虚拟化为主机提供30TB的存储空间,在未来需求出现是在进行磁盘的扩容,并进行在线的容量扩展,最合理的进行投入,并有效保护用户对现有设备的投资;
第四,方案充分考虑的****作为中国**行业的重点企业,对数据安全性的特殊性要求,采用了存储在线、存储近线、磁带库离线和CDP数据连续保护相结合的三级数据保护方案,全面应对可能发生的软硬件灾难,为数据的安全性和业务连续性提供最大的保障;
第五,方案为****数据中心未来的异地容灾建设奠定了坚实的基础,此次方案XX公司采用全网基于万兆以太的技术核心,未来的容灾系统可以基于**数据中心的万兆以太网络进行建设,实现无缝连接。
总之,方案设计为**数据中心构建了一个统一的、整体部署的存储系统架构。
完全满足业务连续性、高可用性&高可靠性、容灾保护、存储管理性能监测与调整等功能与需求,提供用户100%的数据可用性,完全可以支持业务高性能、7×24×365的运行;完全符合满足招标文件的要求和用户业务的实际需要。
方案设计的细节描述,请参考以下章节的详细描述。
4.3.2**数据中心万兆IPSAN网络存储架构设计
万兆IPSAN网络存储环境应分为三个层次,主机层、网络层和存储层。
●主机层
**数据中心核心业务的应用,服务器主要进行超大图形文件编辑处理和数据库运行,属于典型的大文件读写和OLTP应用,所以应用对访问带宽性能的要求非常高。
为了满足这一要求,方案建议在关键业务的IBM主机一端安装万兆的TOE网卡,提供双冗余万兆数据接入通道,从而为每一个关键业务应用提供冗余的数据存储通道。
对于其他业务主机,可采用千兆网卡接入。
所有需要连接存储的服务器,只要安装千兆网卡,并安装软件的iSCSIInitiator,就可以通过以太网获得存储设备,从而不需要购置价格昂贵的HBA卡。
主流的操作系统AIX\Solaris\Linux\Windows都支持这种千兆网卡加软件的iSCSIInitiator的实现方式。
对于那些对于CPU负荷比较重的服务器,可以安装通过iSCSI的HBA卡的方式连接到系统,将部分存储运算交给HBA卡完成,从而减轻主机CPU的负荷。
该存储还可为应用主机提供多链路负载均衡和故障切换功能。
方案为接入IPSAN的主机提供了基于主机的MPIO功能,业务主机可以利用多通道之间的流量负载均衡能力来提高数据访问的效率,并同时具备
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- XX 存储 方案 建议书