HCPHDI的集中上收和容灾方案说明 HDSWord下载.docx

HCPHDI的集中上收和容灾方案说明 HDSWord下载.docx

《HCPHDI的集中上收和容灾方案说明 HDSWord下载.docx》由会员分享，可在线阅读，更多相关《HCPHDI的集中上收和容灾方案说明 HDSWord下载.docx（16页珍藏版）》请在冰豆网上搜索。

同时HCP针对集中上收的数据长期保存或归档需求，可以通过metadata中锁定保存期限，实现在保存期内不可删除和篡改数据的WORM功能。

按照HDS统一云存储平台设计理念，先进的HCP内容归档平台是实现归档存储的硬件引擎，即需要连接磁盘系统实现数据存放，在本项目中，考虑存储集中和投资保护，建议在核心存储磁盘阵列中划分归档区，采用其所配置的SAS磁盘，根据需要选用其中的可用容量，可以从6TB-20PB选择，作为分支机构集中到总中心的云存储容器，并可以实现高可用、高性能存储访问。

此外，通过内容归档平台引擎进行管理后，可以针对原数据中的文件和目录设定锁定期，保证数据不可篡改。

如下图所示：

HCP内容归档平台技术架构上采用SAIN架构（SAN-attachedArrayofIndependentNode）。

此架构开放性好，同时内容归档平台节点，支持基于开放标准的FC存储和RAID6技术，以及FC、SAS、SATA等各种规格的硬盘。

在存储的部署方面，要求归档节点和后端存储可实现动态配比。

如：

根据统计，一般归档对象的平均大小是5K，因此归档对象数目会增长较快。

因此在未来发展阶段可以依靠增加前端节点的数目提高对象处理性能，而保持存储空间容量和系统结构不变，以实现面向应用的动态高性价比部署。

在工作接口方面，HCP内容云存储平台提供NFS/CIFS/HTTP/SMTP/NDMP等标准访问接口，符合工业标准，具有良好的开放性。

这样，在未来用户应用系统中，各分支机构中心不断产生的邮件归档、文件归档、数字化影像资料都可以集中到总中心的HCP容器内承载，HCP接口采用常用的统一开放标准，而非私有标准，各种应用可通过最简单的方式来统一访问归档平台系统。

2.2HDI收集器的说明

HDI是HCP云存储平台的一个延伸，也可以说HDI是HCP放置在各个异地的触角和数据收集器。

做为总中心HCP的一部分，HDI通过IP网络的联络，可以部署到各个分支机构中心。

但是无论HDI部署的距离有多远，它都通过IP网络与总中心的HCP保持着实时通讯，任何存储到HDI的数据，都会实时传送到总中心的HCP云存储平台，见下图：

为保证数据的有效上收，HDI自身也是个小型的容器，有4TB的数据承载容量。

4TB容量可以做为缓冲使用，即使HDI上的所有数据都上收到总中心HCP上后，HDI上的数据不会立刻删除，以备各分支机构本地可以方面调用。

分支机构访问和存取HDI的数据接口可以是CIFS、NFS、HTTPS等标准的开放接口，也就是将文件拷贝或备份到HDI就可以了。

HDI与HCP的通讯和数据上传是自动完成的，最短可以做到15分钟一次，增量实现，因此同样保证了较小的数据丢失量，保证了集中和容灾数据的使用。

2.3HDDS查询器的说明

当所有数据通过HDI集中存放到HCP的内容云存储平台后，在总中心将汇聚所有分支机构的大量数据，文件和数据查询将变得非常繁琐和复杂。

HDDS是配合HCP完成快速查询的功能设备，即可以同在总中心部署HDDS搜索引擎，根据关键字和Metedata记录的属性，最快速度找到需要的文件，使得数据集中后的分类、检索、使用变得非常方便。

3.方案总体构架

3.1总中心HCP存储平台

对于本次用户的系统，因为系统受限于网络带宽（<

8Mb速率），建议采用基于网络的传输方式，即HCP结合HDI的解决方案。

总中心的部署以大集中的云存储架构为基础，即为所有业务系统建设一个统一的数据云存储平台，从业务系统角度分析，在用户系统中有传统的结构数据如数据库系统，也有文件和归档数据等，数据访问和吞吐量大，为满足其生产的具体需求，规划采用高性能的集中存储，一方面彻底解决云计算平台对存储资源要求高的瓶颈；

另一方面物理集中数据实现统一管理，同时集中的存储为将来的容灾打下坚实的基础，见下图：

对于各分支机构的重要数据上收集中和灾备，建议在云存储平台VSP上再划分集中归档区，所有分支机构收集上来的数据都通过HCP的网关存档在统一存储平台的归档区，并且可选保存这些数据在一个周期的WORM，即不可篡改，建议采用HDSHCP归档平台实现文件和目录级别的WORM功能，存储空间考虑利用统一存储平台内的专门划分的磁盘空间，本次建议从配置的生产存储磁盘中选择？

TB可用容量空间来满足要求，同时其它有WORM需求的数据也可以存放在归档区。

3.2分支机构HDI到总中心HCP集中架构

在总中心大型HCP云存储平台建设完成后，分支机构的数据到总中心的数据上收和集中通过HDI－HCP的通讯完成，见下图：

做为总中心HCP的一部分，HDI通过IP网络的联络，部署到各个分支机构中心。

分支机构的HDI通过IP网络与总中心的HCP保持着实时通讯，任何存储到HDI的数据，都会实时传送到总中心的HCP云存储平台。

3.3分支机构HDI的数据采集

在分支机构中，上传和集中的数据需要首先保存的HDI的收集器上。

而保证的接口可以通过CIFS、NFS、HTTPS，因为是开放式接口，方法可以是多种的：

1.通过文件复制的方法，如果上传的是文件或文件系统，如图像、Word文档等，可以将这些生产数据直接拷贝到HDI的相应目录下即可；

2.如果是数据库数据，方法之一是通过本地备份软件备份到HDI，HDI会自动传送备份数据到HCP，而将来如果需要恢复，直接通过HDI可以将备份数据返回到分支机构本地；

3.如果是数据库数据，方法之二是通过数据库的导出，导出文件复制到HDI，这样的文件传送到HCP，而将来如果需要恢复，直接通过HDI可以将数据库导出数据文件返回到分支机构本地

4.

附件HCP基于对象存储平台介绍

4.1HCP-基于对象的归档平台

4.1.1HCP指标

功能

HCP500DL

产品定位

HCP500DL是一个全客户化的解决方案并基于经过验证的ArchivasArC软件和Hitachi系列磁盘阵列（AMS200,AMS500,AMS1000,AMS2000family,NSC-55andUSP-V）.这个高灵活，高扩展性固定内容归档解决方案的已经证明的高性能、高吞吐量和高可靠性在诸多的应用环境中。

新的功能允许客户使用已经安装的Hitachi存储阵列并和其它应用共享，最大限度地提高存储利用率。

起源

HDS与Archivas合作在2006年2月，并在2007年2月收购Archivas。

公布

2007年5月

硬件

操作系统

Archivas集群（ArC）

（运行在Linux）

结构

SAN+ArrayofIndependentNodes（SAIN）架构

打包硬件

标准机柜配合外置存储

存储系统

HitachiAdaptableModularStorageAMS200,AMS500,AMS1000,AMS2000系列,NetworkStorageController（NSC55）,和UniversalStoragePlatformV

扩展性

HCP

可以扩展到80个节点，每个节点支持4亿个文件，总共可以支持320亿个文件每一个集群。

同时，支持连接的后端存储可以达到40PB。

服务器连接

所有的以太网端口在每个节点上是10/100/1000并允许连接到100Mb或1Gb外部网络。

每个节点双端口。

存取途径

NFS,CIFS/SMB,HTTP,WebDAV

备份

提供备份通过标准的NDMP

数据保护支持

数据保护级别为Level1,2or3,4；

数据存取路径（多路径）；

对象复制；

MeanTimetoDataLoss（MTDL）算法

可靠性

Non-disruptive维护

YES

Non-disruptive微码升级updates

性能

吞吐量

10-25对象/秒/节点

高级特征/功能

单进程保存

Yes,通过DuplicateElimination

（执行二进制不同比较）

API存取

不需要API。

客户的metadata通过标准HTTP接口存取

认证/完整性

YES,文件和系统级别策略规定文件存取权和调整，满足数据的保护和冗余并在客户定义的设置下。

永久性

WORM

数据粉碎

远程复制支持

File级别保留

标准文件系统接口

全文检索

可以在所有文档类型上搜索

HitachiDataDiscoveryforactivearchive

保留周期支持

AES数据加密

YES（使用秘密共享式）

搜索

全文检索和元数据检索

用户存取跟踪（HIPAA）

NO

软件

管理工具

HCP接口。

管理集成到HitachiDeviceManager和TieredStorageManager.

远程复制

对象级别复制

保修和支持

4.1.2HCP文件系统结构

当增加一个文件到HCP中，HCP自动产生metadata为这个文件并与这个文件封装在一起作为一个归档目标。

当你显示这个内容数据通过网关，HCP文件系统显示每一个目标就像一个文件集。

像文件一样，目录也被像一个目标一样。

这些目标，无论如何，只包含metadata,所以HCP文件系统显示这个目录的名字和目录meta文件并没有相应的文件。

当你显示这个归档通过网关，目录显示为一个标准的目录层次。

HCP也创建一个metadata为一个象征的链接，但是并不曝光它的meta文件。

另外，HCP有两个最顶层的目录或安装点。

∙fcfs_data是目录的最上端包括所有的归档数据

∙fcfs_metadata目录的最上端包括所有的归档的meta文件。

所以，HCP存储用户可访问的meta数据对于每一个你添加到归档设备的数据文件，这个目录结构在fcfs_metadata下平行于fcfs_data的目录结构。

如下图可以清晰的看到HCP的目录文档结构：

对于每个文件，HCP又会针对性的产生相应的meta文件为归档服务。

如下图：

4.1.3HCP集群结构和负载均衡

HCP采用Archivas集群（ArC,运行在Linux），每两个存储节点（StorageNode）构成一个单元（CELL），至少每两个单元组成一个集群。

∙集群均衡策略

由于一个本地的名称空间分配，被元数据控制和管理引擎资源监控，文件将被本地化的，在一个集群内部公平地分散。

当一个节点被加到一个集群中，这个集群的均衡策略被激活去维持每个数据和元数据的分布。

物理地移动数据和元数据从已经存在的节点到一个新的节点，设法达到相同的利用率在一个集群内部的所有节点上。

为了保持归档平台的均衡，每个节点要确保最佳的性能和扩展性即使在较少的数据和面临所有节点失效的情况下。

是一个数据挪动密集的操作。

在一个数据迁移中，确保数据保护策略是强制的和不导致TPOF违反。

∙前端请求的响应策略

o主机发出了一个请求去读一个文件

o适合的网关参加其中（NFS,CIFS,Http,WebDav）和传递这个请求去RequestManager

oRequestManager找出那一个元数据负责名称空间的详细区域。

RequestManager发出读的请求给指定的MetadataManagers

oMetadataManager检查权限和标识出StorageManager控制的对象被存储的磁盘

oMetadataManager传递回信息给RequestManager。

如果权限没有核查通过，那么这个请求被拒绝

o假设这个权限是没问题的，RequestManager联系StorageManager传递给存储目标。

如果这个控制的StorageManagers是本地的RequestManager，它将最先获得这个请求去最小化流量和相应。

如果这个控制的StorageManager是不正确的，那RequestManager将重复第三步

o控制的StorageManager传递这个对象到RequestManager

oRequestManager使主机满意于读的请求

4.1.4HCP的WORM技术

HCP支持通过WORM（一写多读）技术，在归档设备上对客户的归档信息进行副本保留，在保留期间内可防止任何人对归档信息进行修改，满足内控、审计程序对信息原真性的要求。

当审计人员需要检索、抽取特定的信息纪录时，能够通过专用的检索工具快速发现所有满足条件的信息。

4.1.5HCP重复去除技术

HCP提供的全新数据重复数据删除服务来最大限度地利用其存储资源。

重复数据删除也称为单一实例存储（SIS）。

HDS提供的这种新型存储服务远胜于其它同类竞争产品，它可以同时提供hash对比和二进制对比，因此能够确认对象是否是重复数据，从而避免了“hashcollisions”，避免不同对象却具有相同的加密hash密钥的情况。

HitachiContentArchivePlatform的相关机制还能够让用户清楚地看到被删除的重复数据的数量，以及节约下来的总存储容量。

HCP的DuplicationElimination是个后台的进程，HCP会每天在合适的时间进行，客户可以在控制台进行干预它的启动和停止。

该进程在意外停止后，还会持续运行。

4.1.6HCP的备份

使用NDMP协议的基于标准的备份。

利用开放的安全PGP加密与HTTPS备份程序数据来保存备份数据，保证应用程序数据的安全。

∙NDMP途径备份

oNDMPv4遵从数据服务器；

提供标准的备份和恢复接口。

提供灵活的备份工具选择如CommVaultGalaxy,NetBackup,和很多其它的工具。

o允许客户去维护离线、非现场备份

o支持全景备份选项，包括多重和同时备份操作

o已知保存的回复

o可选的签名、压缩和加密备份集

o基于便携的归档对象格式基础对于备份/恢复和复制

4.1.7HCP的容灾复制

HCP提供多种方法的数据复制.复制是被设计利用不同地理区域，使用异步复制技术。

这个适用于所有的数据、元数据和策略……一旦被启动它将是一个自动的服务。

4.1.8HCP搜索功能

HCP中的搜索引擎是基于行业领先的索引和搜索的技术，它被嵌入的归档中。

这个级别的集成索引有效地被完成在文件提取的同时，可以到一个很高的提取峰值，提供分组第二的查询相应时间，而且可以被管理就像一个一体化到归档平台的一个功能。

它完美的可行性去指出一个搜索引擎在一个归档平台中，并且“爬出”它（典型的通过HTTP）。

无论如何，它并不是可升级的而且这里也没有办法去保证索引是归档内容的真实反映。

这个技术来源于FAST公司，这个技术和市场领先的企业引擎。

FASTInStream是为OEM（原始设备制造商）制订计划量身定做的，利用标引分析元数据、正文、术语和概念与企业贸易交易过程捆绑在一起，向OEM提供有现行的数据和所存数据上下文理解性能。

FASTInStream主要用于企业应用期望值和其他许多信息检索需求，靠的是推广企业内部的搜索技术，故此，展现出如下特色：

∙FASTInStream和InsightTM，使查找与咨询内容或目的、检索术语或短语、反馈信息或结果匹配的文本款目成为可能，并可检索出准确的信息、符合上下文关系的内容，以及相关信息的动态导航，使其真正发展成为客户中心的检索。

∙由于得到FASTInStream软件发展程序工具包（SDK）的支持，FASTInStream能有效地实现文献的整合，并通过粒状成分和高保真API，使OEM发挥出强大的杠杆作用。

目前，并没有开放给HCP的应用级别。

∙FASTInStream提供各种数据资源和格式文本的检索，如各种媒体数据、库存结构数据、半结构数据，以及网页、邮件、博客、文献等非结构信息，支持多种语言，处理各种格式的文件。

∙FASTInStream核心结构可同时在数据量、每秒询问次数和数据刷新率三维空间中独立进行线性测量。

OEM搜索解决方案可同时支持几百万用户，从任何检索点都能快速搜索几千兆字节的数据，并在一秒钟内做出及时反应，从终端对终端安全传送信息，从而确保了内容、服务环境和搜索应用等临界领域信息的安全性和机密性，使它的搜索性能不仅能应用于企业，而且还得到不断改进和扩展。

4.2HDDS-简化的基于文件的内容管理

HitachiDataDiscoverySuite提供强大的索引和搜索功能，在基于BlueArc®

的HitachiHigh-performanceNASPlatform和HitachiContentArchivePlatform和HitachiContentArchivePlatform上，实现主动的电子检索并遵守法律规定的数据保留要求。

HitachiDataDiscoverySuite可从单一用户界面上简化多平台用户搜索、内容索引和恢复，从而帮助提高生产效率并增强企业的竞争力。

HitachiDataDiscoverySuite可帮助用户从一个安全的位置上保存、搜索、识别和收集以电子方式保存在整个存储架构中的数据。

此外，它还使最终用户和IT人员可以从一个界面上，通过单次查询搜索多个数据源，实现自助服务文件恢复、跨平台搜索和检索以及基于文件的分层，从而充分利用在分层存储设施上的投资。

HitachiDataDiscoverySuite可帮助用户高效地管理、保存并检索大量信息，同时满足法律监管要求。

4.2.1解决方案

●HitachiDataDiscoverySuite

HitachiDataDiscoverySuite可以简化电子检索，并提高在在线、近线和归档介质中进行识别、搜索、保存和管理非结构化数据的效率。

通过MicrosoftActiveDirectory和LDAP的集成，用户可以根据自己的接入权限，通过一个界面在多个数据孤岛中进行搜索，包括远程站点上的电子邮件归档和快照/版本。

HitachiDataDiscoverySuite还可以提供先进的存储管理工具，帮助企业利用灵活而且可扩展的文件元数据模型，将数据保存在最适当的介质中——在线、近线或归档。

这样可以提高存储环境的总体效率，缩短备份时间，加快检索并减少重复数据。

●HitachiDataDiscoveryforMicrosoft®

SharePoint

借助HitachiDataDiscoveryforMicrosoftSharePoint，可从MicrosoftSharePoint中获得更大价值，从而使经过验证和授权的用户，可以随时随地进行访问。

用户可以建立主动的RSS反馈机制，在检索过程中检测非结构化数据。

通过MicrosoftAdvancedDirectory集成，可以决定用户的角色、获得的许可和访问权限。

完成检索后，MicrosoftSharePoint还可以根据需要，依照公司策略以统一的方式下载检索到的内容。

4.2.2优点

∙使企业可以有效地控制非结构化数据，这些数据未包含在传统的内容管理系统之内

∙填补了网络连接存储（NAS）设备上，对基于文件的数据进行内容管理、内容索引和搜索的空白

∙评估并缓解文件存储实践中的风险

∙利用定制报告访问企业记录，帮助监控当前存储实践的法律、监管达标和业务流程风险

∙简化数据管理和分层存储

∙在不同类别的存储系统之间自动迁移数据，确保根据法律或业务实践，对数据进行正确的长期保留和处置

∙降低运营成本，增强数据私密性

∙通过目录服务集成确保开展正确的数据管理工作，使用户可以搜索他们有权查看的数据

∙通过搜索和信息