923842服务器曙光海量非结构化数据存储解决方案Parastor200.docx
- 文档编号:25169056
- 上传时间:2023-06-05
- 格式:DOCX
- 页数:21
- 大小:561.81KB
923842服务器曙光海量非结构化数据存储解决方案Parastor200.docx
《923842服务器曙光海量非结构化数据存储解决方案Parastor200.docx》由会员分享,可在线阅读,更多相关《923842服务器曙光海量非结构化数据存储解决方案Parastor200.docx(21页珍藏版)》请在冰豆网上搜索。
923842服务器曙光海量非结构化数据存储解决方案Parastor200
第一章概述
1.1.什么是并行存储系统
并行存储系统基于一种开放式的存储架构,采用并行文件系统,将多台物理存储设备(这些物理设备可以是磁盘阵列,也可以是通用的存储服务器)的存储空间虚拟成一个具有统一访问接口和管理界面的存储池(也叫统一命名空间)。
应用服务器通过统一访问接口获得所需得存储资源。
用户的数据按照一定的负载均衡策略,条带化的分布到后台的多套存储设备上,从而能够实现数据的并行读写以获得更高的并发访问性能,充分利用多台存储设备的性能和更大的存储容量,并有效的提高存储空间利用率,并且所有的存储设备可以实现统一的管理和监控,大大减轻了管理工作负担!
1.2.并行存储系统的特点
⏹开放式架构(高扩展性)。
开放式架构是针对并行存储系统内部构成单元而言。
并行存储系统通常包括元数据单元、数据单元、网络单元、客户端单元,每个单元都可以按需进行动态扩展,并且每个单元可以开放的采用其业界最新的技术,而无需改变系统架构。
⏹并行文件系统。
并行文件系统是并行存储系统的灵魂所在,所有对并行存储系统的操作都经由并行文件系统统一调度和分发,分散到并行存储系统各个数据节点上完成。
⏹全局统一命名空间。
全局统一命名空间在很多厂家的存储概念中都出现过,在并行存储系统中全局统一命名空间强调的是同一个文件系统下的统一命名空间。
⏹易管理性。
并行存储系统通常能够提供一种集中的、简便易用的管理方式,不需要修改或重新编译客户端操作系统,采用文件系统提供的高速客户端软件或是业界标准的访问协议访问存储系统。
而且,随着存储容量的增加,客户不需要增加额外的管理人员,将精力更多的投向自己的应用领域。
⏹动态负载均衡。
在并行存储系统中,前端访问存储系统的读写操作,通过并行文件系统的负载均衡策略,将数据访问分散到存储系统的各个数据节点上,大大减轻了每个节点的负载。
而后端访问数据,通过开放式的架构和存储网络,数据会分布在所有存储设备上进行存放和读取,每个读写操作都由更多的磁盘参与,因此大大的提高了读写操作的性能。
⏹高性能。
并行存储系统通常能够提供比传统存储架构更优的性能和更大的存储容量(EB级别)以及更高的磁盘空间利用率(80%以上),尤其是在存储带宽方面,并行存储系统的存储带宽能够达到几十甚至几百GB/s。
1.3.并行存储系统与传统存储架构的区别及架构优势
传统的SAN与NAS分别提供的是块设备与文件两个不同级别的存储服务,并行存储系统主要面向文件级别存储服务。
比较并行存储架构与传统的NAS、SAN结构区别,可以用中国的高铁和之前的火车做形象的比较。
如下图所示。
传统存储架构、传统火车
并行存储、动车组
SAN系统提供块设备存储空间,FCSAN存储系统具有较高的性能,但是构建和维护起来很复杂;受制于主机头的性能和主机接口数量,FCSAN架构磁盘阵列扩展能力有限;NAS系统的构建和维护虽然比较简单,但是由于其聚合设备NAS头是其架构上的瓶颈,造成其性能很有限。
这些特点非常类似于传统火车,能装的乘客数量(存储容量)完全取决于火车头的功率(机头的性能)。
并行存储系统的优势主要体现在提高并行I/O的整体性能,特别是工作流、读密集型以及大型文件的访问,通过采用更低成本的服务器来降低整体成本。
并行存储系统集中了SAN和NAS结构的优点,并且具备SAN和NAS不具有的优点。
在大多数使用并行存储的案例中,随着存储系统的扩容,性能也随之提升,这些特点跟动车组类似,动车组能够装载的乘客数量(存储容量)基本没有上限,因为动车组的动力系统是完全分散在各个车厢之内的,只要站台(客户的机房)没有限制,客户数量就没有限制,因为车厢可以随需添加,理论上一个大的集群存储的性能往往胜过一个SAN系统,但是价格却比SAN的价格更加具有优势。
1.4.并行存储系统分类
并行存储系统也有多种分类方法,通常可以分为SAN共享式并行存储系统和分布式并行存储系统。
如果并行存储系统中的所有节点是共享后端存储的,那么这个节点就属于共享存储型集群,否则就是非共享的也就是分布式集群存储系统。
分布式集群可以不使用SAN阵列,服务器节点硬盘槽位多的话使用本地磁盘也可以。
共享存储系统可以直接对后端存储设备对应的LUN进行读写,因此通常具有较高的性能,但是这种紧耦合的架构导致系统的扩展能力受限,并且该系统通常采用高性能的磁盘阵列构建,因此构建成本较高。
分布式存储系统数据需要在前端交换机中(一般是以太网)传输,速度偏慢,但是随着万兆以太网以及高速IB网络技术的普及,分布式存储系统也可以提供较高的读写带宽。
分布式存储系统可以采用标准的X86服务器构建,构建成本较低,并且其松耦合的集群架构可以获得更好的扩展性能!
1.5.为什么选择并行存储产品
在信息爆炸式增长的时代,非结构化数据和数字内容(数字图像、计算机模型、数字视频、数字音频、计算机模拟、扫描文档、参考信息)的爆炸性增长,文件大小和数据规模迈向TB级甚至PB级已成现实。
对IT管理人员来说这意味着什么呢?
由于非结构化内容的存储规模和复杂程度不断提高,它们使得传统存储系统捉襟见肘,因为这些系统主要是为含有小型文件和高级别事务(例如关系数据库和电子邮件服务器)的结构化数据设计的。
另一方面,非结构化数据具有传统存储系统在设计时并未考虑到的独特特征,包括大型文件和数据量、高吞吐量要求、读取密集型访问方式以及大量并行文件访问。
对于互联网、流媒体、高性能计算、能源等数据密集型、高并发访问的行业用户来说,容量与性能的线性扩展是必须的,而对于传统的存储架构来说,这却是不可逾越的鸿沟。
例如,对于石油勘探、气象、地震海啸预警等高性能应用领域的用户,为了完成计算任务,提高系统的计算能力,不断的加入新的节点,虽然提高了整个网络内的集群的计算节点,结果却带来了很大的存储问题,存储系统的I/O带宽难以为继,很多计算节点因为无法获得数据而被迫停止运算或降低运算效率,存储系统成为了限制发展的羁绊。
同时,集群系统中,每一个用户都面临着随着用户节点的不断增加,而对于很多原有的存储系统来说,提升容量并不能提升速度,这样一来,即使提升了容量,节点也会因为无法及时获得数据而遭遇性能的瓶颈。
并行存储系统其性能可以随着存储容量的增加而线性增加,是解决海量非结构化数据存储的理想平台!
第二章曙光Parastor200并行存储系统介绍
2.
2.1.系统简介
ParaStor200并行存储系统采用了代表存储技术、网络通信技术以及数据管理技术发展方向的并行体系架构,是一款面向海量非结构化数据处理、拥有自主知识产权的高端存储系统。
ParaStor200并行存储系统汇集了曙光公司多年以来在并行计算和海量数据处理方面的丰富经验,从架构上彻底消除了传统存储系统的瓶颈,能够满足高带宽和高并发的海量文件存取的需求,为用户带来前所未有的存储性能体验。
2.2.系统构成
ParaStor200系统包含四类组件:
索引控制器oPara、数据控制器oStor、管理控制器MGR和应用服务器客户端oApp。
⏹索引控制器。
用于管理存储系统的所有索引数据和命名空间,对外提供单一的全局映像;
⏹数据控制器。
用于提供数据存储空间,并实现文件的并行存取,支持1~4副本,目前最大可支持3个副本;
⏹管理控制器。
提供统一的控制管理界面,管理员通过该节点管理整个存储系统;
⏹应用服务器客户端。
向上层应用提供数据访问接口。
系统架构如下图所示。
2.3.系统型号
ParaStor200产品面向典型应用类型“高IOPS、高带宽和均衡型”,提供专门优化的三种型号:
ParaStor200I、ParaStor200W、ParaStor200B。
⏹ParaStor200I。
面向高IOPS应用,通过配置深度调优参数、高性能处理器、大容量缓存以及高速Flash存储介质,显著提升存储系统的IOPS,满足海量小文件并发随机读写的性能需求
适合应用:
Ø数字媒体:
实时流、渲染及后期制作
Ø互联网:
网站建设、海量图片管理
Ø工程设计及模拟:
电子及机械系统的模拟、验证和设计,以及可制造性分析
⏹ParaStor200W。
面向高带宽应用,通过配置深度调优参数、高性能万兆或是IB网络、大容量缓存以及高可靠SAS存储介质,显著提升存储系统的聚合IO带宽,满足视频、测绘等大文件读写的性能需求
适合应用:
Ø数字媒体:
非线性编辑系统、媒资系统、数字播出系统、IPTV、视频推流
Ø互联网:
在线视频、音频服务
Ø生命科学:
基因测序及大型显微学环境
⏹ParaStor200B。
面向均衡型应用,通过配置深度调优参数、高性能处理器、大容量缓存以及高可靠SAS存储介质,同时兼顾海量小文件和大文件读写的应用需求,满足多种应用模式的数据存取需求
适合应用:
Ø高性能计算:
气候模型计算、制造设计、流体动力学、物理数字模拟
Ø云存储:
存储空间服务租赁、网盘
2.4.系统特性
ParaStor200系统具有如下特性:
⏹单一命名存储空间,集中化共享虚拟存储池
ParaStor200可以智能地将数据存放到存储系统的数据节点上,创建一个集中化的共享虚拟存储池,提供全局单一的命名空间。
目前业界有很多存储系统也声明支持PB级的单一命名空间,但是底层无一不是通过将若干卷挂载在同一个根目录下来形成的大容量统一命名空间,其效率和出现存储热点时的性能,将会大大低于将上PB级别的存储空间置于同一个文件系统下管理的统一命名空间。
可以带来如下好处:
(1)提高存储空间的利用率,高达90%;
(2)简化海量数据管理的复杂性,用户可以直接对虚拟资源池进行管理和控制,无需考虑存储设备的布局方式;(3)超越传统存储架构容量和性能的极限。
⏹Scale-out扩展方式,性能和容量随数据控制器数量的增加而线性增长
首先,解释一个概念,Scale-up和Scale-out是什么?
Scale-up向更强大的CPU,内存,通道及其他设备扩展,而Scale-out则是通过一定的技术将一个个独立的低成本存储节点聚合成一个大而强的系统。
对于用户来讲,Scale-up架构的存储系统其设备处理能力上限在购买时已经确定,如果需求超过上限,只能重新购买更高性能的设备;而Scale-out架构的系统可以采用搭积木的方式,通过把成百上千台个体聚合起来,来满足不断增长的存储容量和性能的需求。
ParaStor200系统就是一款基于Scale-out架构的高端存储系统!
由于采用了Scale-out横向动态扩展技术,ParaStor200系统可以为用户提供如下好处:
(1)打破了传统架构的扩展限制,容量可扩展到EB级,同时可以保证存储系统容量和性能的均衡;
(2)避免由于用户需求的不断增长而带来的数据迁移和应用中断的问题,可随业务需求变化而动态调整资源,带宽、处理能力和存储容量都可以实时调整和扩展;(3)存储容量和聚合带宽随着数据控制器的增加动态线性扩展;(4)所有扩容操作均可以在线进行,无须中断应用的正常执行。
⏹高性能并行存储系统,支持并发I/O读写,提供高达数百GB/s的聚合带宽
衡量一个存储架构的优劣,无外乎从读写两个方面来看,ParaStor200的聚合性能可随着数据控制器节点的增加而增加,根据实际测试结果,ParaStor系统数据控制器节点每个插两块双口千兆以太网卡,提供4个数据传输通道,单节点可以提供高达150MB/s的写带宽和360MB/s的读带宽。
ParaStor200系统的聚合带宽,可以用每节点带宽乘以节点数来计算,系统性能可实现线性增长。
部署于深圳云计算中心的、系统总容量16PB的ParaStor200系统可提供高达一百多GB/s的聚合带宽!
那么,ParaStor200是如何达到超高性能的呢?
我们可以通过ParaStor200系统的读写机制来分析。
某个客户端发起读写请求,通过核心交换机,向ParaStor200系统发起读写请求。
以两个索引控制器和八个数据控制器为例,索引控制器首先会接收此次读写请求,并通过分析数据控制器的状态来确定将文件如何分割以及写到哪些数据控制器上,然后将此信息反馈给客户端,客户端通过读取此信息,利用与数据控制器相连的数据通道并发的将文件块写入到对应的节点磁盘上。
反过来看读一个文件,这个非常好理解,就是写的一个反过程。
形象地举个例子,传统架构数据要写到磁盘上或从磁盘上读取数据,相当于一个人(一个机头)搬八个箱子,而ParaStor200并行存储系统是八个人搬八个箱子,效率和速度大大提高,这种并行架构决定了系统读写的性能比一般的存储性能高很多。
⏹多副本、全冗余架构等多种数据保护机制确保整套存储系统安全可靠,无单点故障,提供始终如一的高可用性
传统的NAS和SAN存储构架都存在固有的单点故障,容易形成“数据孤岛”,一旦NAS头或者磁盘阵列机头出现问题,发生数据不可用的危险就会大增。
此外,传统的RAID技术,包括RAID4、RAID5,在过去很长一段时期中都能基本满足需求,提供单个磁盘驱动器发生故障时的数据保护。
但是现在我们都采用大容量磁盘驱动器,发生第二块、第三块磁盘故障的概率大增。
面密度以将近100%的复合年增长率在不断加大,但是磁盘驱动器的可靠性和性能并没有同步提高,而且由于大容量磁盘需要更长的RAID重建时间,极大地增加了同时发生几个磁盘故障的可能性,数据丢失的风险不可小视。
再者,传统存储系统在发现和处理故障硬件部件问题时,都是被动反应,而非预先应对。
因为不具备有预知功能的智能软件,不能预判什么时候会发生故障,传统存储系统将用户的数据置于危险之中。
而ParaStor200系统由于采用了全冗余架构、数据多副本技术以及高效数据容错重构技术和故障自动恢复机制,系统可靠性和数据安全性非常高!
ParaStor200可以提供针对系统级和文件数据级的两个级别容错。
系统级容错:
数据读取和传输过程中,当某一个模块(可以是索引控制器、数据控制器或者交换机)发生问题宕掉了,通过系统级容错,冗余模块可以接替问题模块继续工作,系统仍是可用的,数据仍然是安全的、完整的,用户端感觉不到任何变化。
整套系统没有单点故障!
文件数据级容错:
ParaStor200系统通过条带化技术将文件分块存储在多个数据控制器上,其中每一个分块都会有两个以上的副本存放在不同的数据控制器上。
当客户端读取的数据块所在的数据控制器无法访问时,依然可以通过访问该数据块副本所在的数据控制器来读取数据,同时系统将会自动的在另一台可用数据控制器上生成此数据块的新副本。
这种容错机制可以保证只要系统中剩余空间的容量大于损失的硬件中所存储数据的容量,系统即可自动进行数据恢复。
同时,由于每一个存储设备上的数据所对应的另一个副本是分布在其他所有的存储设备上的,存储系统数据的恢复重构过程是一个多到多的数据复制过程,其恢复速度大大高于传统的存储系统,保证了业务的连续性和数据的安全性。
ParaStor200系统恢复重构1TB的数据只需半个小时左右,而传统基于RAID技术的存储系统,即使是高端磁盘阵列,重构1TB的数据都需要十几个小时!
⏹丰富的使用方式
Parastor200为用户提供了丰富的使用方式。
Parastor200为追求极致性能的客户提供私有Linux、Windows接口应用模式,该应用模式在需要在客户端安装曙光提供的客户端软件,客户端软件不用修改和编译操作系统内核,这种直接访问方式没有额外的开销,因此具有最好的性能。
Parastor200还为用户提供间接应用模式,在该应用模式下,Parastor200的集群NAS模块为用户提供NFS、CIFS标准访问协议,用户的前端应用服务器通过这些标准访问协议访问后端存储系统,这种方式对客户端没有影响,使用最简单。
⏹集成曙光并行存储管理系统,支持集中部署、故障预警等高级功能,实现可视化的统一管理和监控
ParaStor并行存储管理系统是专为ParaStor系列产品开发的统一监控管理平台,提供系统配置、客户端管理、性能优化、监控告警等功能,直观易懂的中文图形化界面方便用户实时监控系统的软硬件状态和性能,简化安装和维护过程,提高管理效率。
丰富的软件功能和操作简易性,在与同类产品对比时,能够极大地提高ParaStor200的竞争力。
ParaStor并行存储管理系统主要提供以下功能:
✧管理维护:
提供服务启动停止和节点上线离线功能
✧文件系统管理:
提供文件系统查询、文件系统创建、文件系统删除功能
✧客户端管理:
提供客户端查询、增加删除客户端以及修改客户端功能
✧安装配置:
为管理员提供系统的安装卸载、节点扩容删除、系统升级、数据删除、数据磁盘增加删除、配置修改、配置备份恢复功能
✧监控管理:
提供索引控制器、数据控制器,以及并行文件系统和整个存储系统的监控
⏹针对典型行业应用特点提供便捷的快速优化接口,为用户带来最佳应用性能
海量数据处理的典型应用基本分为三种类型:
高IOPS、高带宽和均衡型。
ParaStor200根据以上不同应用的特点,提供专门优化的软硬件平台:
ParaStor200I、ParaStor200W、ParaStor200B,满足不同行业用户的需要
2.5.优势总结
ParaStor200系统集群存储体系架构,在全局实现数据均衡分布和并发响应,克服了传统SAN效率低下的缺陷,突破了RAID保护模式下只能允许一块或者两块硬盘失效的局限,即使多块磁盘甚至整台数据控制器失效,仍能保证数据的完整,并且无需关闭系统进行磁盘更换。
在系统扩容的时候,免去了数据重建以及停机的窘境。
同时,ParaStor200并行存储系统提供一种集中的、简便易用的管理方式,真正实现大容量,低成本,高性能。
第三章Parastor200适合的应用领域
Parastor200从刚进入存储市场以来,就一直面向高性能运算领域和并发数据读写领域。
从其架构方面看来,非常适合以非结构化数据为主的应用,比如石油勘探开发、地震信号处理、图像处理、高性能运算、流媒体、音视频应用、航空航天、工业制造、CAD、CAM、CAE等相关领域。
另外还非常适合做文件服务器。
目前随着Parstor200持续开发和优化,除了以上传统的使用领域外,高IOPS,随机读写,小文件为主的应用类型也可以适用,包括数字图书馆、Web2.0的互联网应用等等。
另外在备份归档领域,集群存储的高扩展性和高性价比,非常适合使用。
3.
3.1.高性能计算
高性能技术中有一类典型的IO密集型应用,如气象预报、石油勘探、生物基因研究、材料科学研究、地震监测等,对于这类应用,瓶颈通常不是在计算系统上,而是存在于后端的存储系统,这类应用,具有如下典型存储需求:
●性能高。
大量计算节点并发访问,存储系统需提供高效、稳定的数据读写性能支持
●IOPS高。
在高性能计算应用中,会产生大量、频繁的I/O操作,要求响应快,低延迟
●容量大。
高性能计算每次运算产生的数据量可能高达几十到几百TB,存储系统需要提供海量的存储空间
●高可靠性和高扩展性。
系统应具有较高的稳定性和扩展性,系统扩展过程中,不能中断业务的正常运行
曙光Parastor200存储系统可以提供高达数百GB/s的聚合带宽、EB级别的存储容量,支持采用多种优化技术提供高IOPS性能,并采用业界先进的横向扩展技术,能够满足高性能计算应用中,对存储系统性能、容量、IOPS以及扩展性的要求,是构建高性能计算存储系统的理想选择。
3.2.广电行业
一个电视节目的播出,通常需要经过视频摄取、视频编辑、视频制作加工、视频推流点播几个过程,这些过程是一个数据频繁交换的过程,要求存储设备具备很高的访问速度和良好的反应能力。
随着我国有线电视数字化工作的全面推广,高清数字电视正在逐步普及,高清数字电视节目制作采用非线性编辑方式,这种方式对存储系统的视频码流要求非常高。
总结广电行业的存储需求如下:
●数据共享。
多台工作站可以同时对同一媒体文件进行编辑
●稳定的读写性能。
可为多台工作站提供稳定快速的数据存储、搜索和共享访问服务,保证平稳的I/O读写性能,提高数据交换的速度
●在线升级。
对系统的容量和性能进行无缝升级,从而支持更多的非线编工作站和码流,全天候不间断可用,升级过程无需停机
●高可靠。
持续的存取服务,存储系统保证7*24
Parastor200可提供高达数百GB/s的聚合带宽的全局共享文件系统,满足广电行业中的数据共享需求;能够为多台工作站提供平稳的I/O读写性能,满足视频编辑等业务对存储性能的需求;全冗余、多副本等多种数据保护机制,能够确保系统一直可用;容量和性能可以线性在线扩展,保证应用系统不断扩展的需求。
3.3.互联网
在现今的互联网行业中,无论是传统的门户、搜索、视频类网站,还是新兴的博客、社区、、交友、电子商务等Web2.0网站,又或是内容分发网络(contentdeliverynetwork,CDN)供应商都面临着业务飞速增长,数据急剧膨胀的压力。
互联网行业的存储需求如下:
●信息量大。
海量的图片、音视频等典型的非结构化数据存储
●高数据吞吐量。
大量用户并发访问需要巨大的数据吞吐量
●扩展性需求高。
系统容量和性能可以线性在线扩展
●成本控制严格。
系统具有较低的TCO
曙光Parastor200采用通用的存储服务器构建高达EB级的高性能文件共享存储平台,具有较低的构建成本,支持高并发数据访问并提供数百GB/s的聚合带宽,可以满足数以千万计的互联网用户并发访问,能够实现动态在线扩展容量,满足互联网应用对容量的弹性需求。
3.4.云存储
云存储是在计算技术、网络技术和存储技术的基础上,将各种计算资源、存储资源、数据资源、软件资源和管理资源协同起来,共同对外提供多样化、用户主导、按需的服务。
从商业模式上讲云存储不是存储,而是服务。
云存储提供的存储服务包括存储空间租赁、在线存储、大文件云存储、云备份与云容灾等,提供这些服务后台需要一个高性能的存储系统做支撑,要求存储系统具有如下特点:
●较高的数据吞吐量。
应用对数据访问带宽以及响应时间都提出更高要求,需要支持更大吞吐量
●系统可以在线扩展。
需要具有灵活的业务支撑能力,新的应用能够及时上线,适应业务发展速度
●管理简单。
提供统一的管理平台,便于管理海量非结构化数据
●较低的TCO。
需要减少因系统停机或扩容所增加的管理和运营成本,降低系统的总拥有成本
Parastor具备良好的弹性、可扩展的特点,可以保障业务不间断运行,为云存储用户提供高性能的文件系统存储服务。
Parastor200的全局统一命名空间虚拟存储池可以提高存储资源的利用率,并具有完善的管理系统,有效地降低云存储系统的管理成本和管理复杂度,是构建云存储系统的理想选择!
第四章Parastor200技术规格介绍
ParaStor200并行存储系统分为三种类型:
ParaStor200I、ParaStor200W、ParaStor200B
ParaStor200I
oPara(索引控制器)
专为高IOPS应用设计,通过配置深度调优参数、高性能处理器、大容量缓存以及高速Flash存储介质,显著提升存储系统的IOPS,满足海量小文件并发随机读写的性能需求
高性能64位处理器,96GBCache,1个管理网络接口,可选5个1Gb或1个10Gb访问接口,Raid10模式保护的600GB高速Flash存储,冗余电源,内嵌高性能数据索引引擎,管理客户端的并行访问,实现全局统一命名空间,并支持两个索引控制器以Active-Active方式运行。
oStor(数据控制器)
高性能64位处理器,24GBCache,1个管理网络接口,提供高达48TB的SATA或SAS存储容量,可选1Gb或10Gb数据接口,内嵌高性能数据存取引擎,并行处理所有客户端的数据访问请求,并支持多个数据控制器以副本方式容错
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 923842 服务器 曙光 海量 结构 数据 存储 解决方案 Parastor200